Deep learning platform of railway passenger transport marketing based on Kubernetes
-
摘要: 为解决铁路客运营销深度学习平台Tensorflow框架存在的环境配置复杂,资源利用率低、模型设计周期长等问题,提出了基于Kubernetes容器的PaaS平台构建TensorFlow容器的统一资源调度管理及API访问控制服务架构。经平台实践证明,该架构为客运营销提供了可靠、稳定的分析环境,降低了模型的训练难度,提高了模型的训练效率。
-
关键词:
- 铁路客运营销 /
- 深度学习平台 /
- 模型训练 /
- Kubernetes /
- Tensorflow
Abstract: In order to solve the problems of complex environment configuration, low resource utilization and long model design cycle existing in Tensorflow framework of the deep learning platform for railway passenger marketing, this paper proposed a PAAS platform based on Kubernetes container to build a unified resource scheduling management and API access control service framework of Tensorflow container. The platform practice shows that the framework provides a reliable and stable analysis environment for passenger transport marketing, reduces the training difficulty of the model, and improves the training efficiency of the model. -
全球正迎来新一轮科技革命和产业革命,智能化、信息化、工业化成为变革的重要驱动力量,是全球各国积极推动的热点工作。5G技术在新型基础设施建设中的作用也尤为突出,5G技术的发展将为铁路工程建设提供新思路。
樊则森就当前及今后建筑工业化和智能建造的融合发展进行了研究,提出了7个发展应用点[1];张雷以市政工程沥青路面施工作业为例,提出智能头盔的应用策略[2];杜黎明等人通过开展智能化的物联网技术在核电工程现场的应用研究,为多项目管理工地智慧管理奠定基石[3];王超等人系统研究了智慧工地的背景与发展现状、国内安全生产形势、安全生产事故的发生规律,从管理对象和管理流程两个切入点,对智慧工地在安全管理中的具体应用进行了研究分析[4];李晓军总结了智能建造演进路径与建筑工业化协同发展[5];刘晓龙等人通过构建了云端网络式BIM系统,实现所有BIM项目相关人员,能共同使用BIM项目,增加BIM项目使用的可能性和使用时机[6];李雪松研究和实现了一个智慧工地管理系统,该系统以建筑工地安全管理为背景,保障施工现场物资、人员、设备等重要资源的安全,采用深度学习模型对于视频监控中的人员安全帽佩戴情况进行识别,实时保障工地人员安全[7];容建华等人提出“互联网+工程管理”的模式,提出了铁路工程智慧工地管理信息系统设计方法和实现方式[8]。这些研究主要集中在“互联网+”及智慧工地的应用方面,未考虑应用时面临的通信需求,对5G技术的研究应用较少。
铁路工程建设综合性强,具有建设周期长、投资大、涉及面广、所需物资庞大、人员众多、需协调解决问题较多等特点,在铁路建设过程中,所需设备众多,目前铁路信息化已获得长足发展,但在建设期间信息化应用方面,仍面临很大挑战,尤其在通信条件不佳的偏远地区,信息化工作的推行仍有困难。随着5G技术的发展和日趋成熟,带来了通信带宽的重大突破,并以超高速、低延时的独有特性可以海量接入下游设备,从而打开更加广泛的应用领域。此时,将5G技术与传统铁路工程建设相结合,解决当前铁路在复杂、偏远环境下通信不畅、信息传输效率低下等问题,为铁路建设项目在质量、安全、管理方面提供了新的解决方案。
1 基于5G技术的铁路工程建设智慧工地
1.1 铁路工程建设智慧工地
铁路工程建设智慧工地是指利用先进的信息化手段,在项目设计阶段,使用二、三维设计工具或平台对工程项目进行精确的数字化设计。在此基础上,开展项目施工阶段模拟智能互联、智能运营,使在建项目实现智能施工、协同生产、绿色高效的全生命周期管理模式,借助物联网等新技术,完成施工项目全过程数据采集、存储、分析及数据挖掘,通过数据分析提供施工过程各阶段趋势预测,实现工程施工智能预测、科学管理,以提高工程管理信息化水平,从而逐步实现绿色、生态建造。
铁路工程建设智慧工地将物联网等传感技术、机器学习、智慧感应、VR等高科技技术应用于在建工程实体、工程设备、人员装备、项目工地进出口等各类应用场景中,实现各类场景的普遍互联,形成“虚拟工地”,并结合成熟的“互联网”技术,实现工程项目场地内外管理人员与在建工程施工现场的联结和整合。
铁路工程建设智慧工地以实现在建工程项目现场一体化管理为目标,将物联网等技术深入应用到传统建筑行业中,围绕工程建设中的人、机、料、法、环,实现一种新型的管理模式,使传统建筑施工现场参建各方均能同步管理、同步监督,并为各方提供更加智能的在建项目现场管理信息化解决方案。
1.2 铁路工程建设智慧工地架构
铁路工程建设智慧工地将综合应用物联网、云计算、大数据、互联网+、5G、GIS+BIM等技术,对现场人员、物料、安全、质量、生产、环境等要素在施工过程中产生的数据进行全面采集,通过建立统一的铁路施工项目信息化管理平台,采集、存储、分析施工阶段工程数据,实现科学管理、辅助决策功能,从而实现铁路工程建设全生命周期管理。基于5G技术的铁路建设智慧工地架构,如图1所示。
(1)终端层:由具有感应技术的器件组成,是架构中采集获取信息的部分。终端层的各类设备可将获取的人员位置、环境、视频、音频等信息采集存储并传输至基础设施层。
(2)基础设施层:也叫网络层,主要为终端层和平台层提供通信服务,在已有骨干网、接入网、有线网及无线网的基础上,增加5G专业基站及5G工业内网,将以上不同的网络按照特定的拓扑结构相互连接,通过特定的网络传输协议,使终端层的数据能以最佳路径传输至平台层。
(3)平台层:是基础设施层与应用层连接的桥梁,通过集成平台、数据集成、消息集成、API服务集成、流程集成及身份接入管理等不同功能模块的应用,将接收到的基础设施层的数据分类、集成管理。
(4)应用层:根据铁路工程建设需求部署相关业务子系统,提供相应的接口服务供上层应用调用,实现铁路工程智慧工地智能化应用的场景落地。
2 5G技术在铁路工程智慧工地建设中的应用
2.1 人员定位
铁路工程项目一般为线状工程,现场人员分散,智慧工地利用5G、蓝牙、物联网等技术,可实时采集铁路在建项目现场工作人员位置信息,全过程记录人员行踪,尤其对重要岗位及高危岗位人员的位置进行动态监测,可为人员安全提供技术保障,也能为人员管理提供便利条件。可实时掌握现场作业状态,当监控人员掌握到异常情况时,可通过人员定位系统终端设备向所有人员发出紧急指令,提示人员撤离。
2.2 物料管理
铁路工程项目建设周期长,建设过程复杂,其中涉及流程、事项较多,一个项目从计划、到开展再到顺利完工,往往需要多个组织和部门的合作。在整个项目建设的过程中将产生海量的包括技术、物流、管理、财务和人员等相关的文件及数据,目前,这些项目数据一般基于项目组织机构分散存储在不同单位或组织的计算机终端上。很多铁路建设现场,环境恶劣,通信条件差,线上线下物流流转效率不高,此时通过应用5G技术,支撑多类型智能终端接入,提供消息实时提醒服务,可有效降低信息延迟,解决物流流转效率低下的问题。同时,可引入二维码等技术,对不同类型、不同场地物料进行全过程追踪,根据工程实际进度动态调整工序及时间节点,优化工程计划,从而有效减少施工材料库存时间,降低工程费用。
2.3 安全管理
目前,铁路建设项目周期较长、范围广,很多工程项目在自然环境极其恶劣的地域开展,工程风险也随之加大,为应对新挑战,提升项目现场安全管理水平,全新的项目建设安全管理模式需大力推广应用。利用5G大带宽、低延时特性,引入人脸识别技术、远程视频监控系统,实现远程现场施工视频实时回传,同时,通过图像识别技术有效识别现场违规施工现象,有效预防安全事故的发生。
2.4 质量管控
利用5G低延时、高速率特性,优化铁路工程建设过程中的质量管控手段,如在拌和站管理中,通过统一的信息化平台集中管理,通过对原材料进货验收、混凝土生产数据实时动态采集、混凝土出厂管理等各阶段进行闭环管理,确保原材料进场数量、质量合格。在铁路工程项目建设工地试验室环节,建立统一的试验室信息化平台,通过连接各项试验仪器,对各类试验进行全过程监控及数据采集、上传,利用边缘计算技术对各类型数据实现快速分析,记录各阶段责任人,实现对实验仪器、试验样品、技术资料、试验报告的全过程动态管理,为规范原材料质量管理提供数据支撑。
2.5 环境监测
施工现场环境污染是铁路工程建设过程中无法避免的问题,生态保护措施不到位、建筑污染物处理不当等问题也时有发生,在施工现场可通过设置包括风速传感仪、温度传感仪、PM 2.5颗粒检测仪等传感器的微气象站,实现对温度、湿度、风速、风向、气压、噪声、PM 2.5和PM 10等环境要素信息进行实时监测,通过高速传输技术将相关信息传输到智慧工地信息化平台,联动自动环境处置系统进行环保处理,实现对环境的动态控制。
2.6 应急救援
利用5G技术大带宽、高速率的特性,解决现有多源异构数据容量大、数据传输对宽带要求较高、连接不稳定等问题。可基于现有电子沙盘系统,开展基于BIM+GIS的工程调度指挥“一张图”模式研究,提升对工程调度指挥的一体化协同能力及应急处置能力,实现对既有系统的迭代升级。针对BIM与GIS等大体量数据传输速率慢,应急调度指挥多方协同不够及时、不够合理等特点,基于5G大带宽高速率特性,依托边缘计算能力,解决大体量数据传输及路径规划指引问题,形成对突发事件的预案、组织、响应、处置、评估的一体化管理,实现数据高度互联共享、指令快速下达及应急预案的快速推送,提升铁路施工期间对突发应急事件的应对处置能力;攻克工程调度多种事件场景快速定位、设备空间位置感知、路径智能规划的关键技术,形成一套基于数据驱动下的工程调度指挥和智能决策体系。
3 关键技术分析
5G技术通信性能,需要多种技术相互配合共同实现,其关键技术如下:
(1)无线传输技术。5G通信中,基站可支持百根天线,这些天线通过Massive MIMO技术形成大规模天线阵列,可以同时向更多的用户发送和接收信号,从而将移动网络的容量提升数十倍甚至更大。为智慧工地对实时视频等信息的传输提供技术基础。
(2)网络切片技术。基于NFV和SDN技术,面向不同的应用场景,如VR、车联网、实时视频音频等对网络的移动性、安全性、时延、可靠性,甚至是计费方式的需求不同,将网络资源虚拟化,切割成多个端到端的虚拟网络,为不同用户不同业务打包提供资源,优化端到端服务体验,具备更好的安全隔离特性。
(3)边缘计算技术。5G承载网通过引入新的网络架构,在网络边缘提供电信级的运算和存储资源,解决传输侧对不同应用场景的支撑问题,实现业务处理本地化,降低回传链路负荷,减小业务传输时延,提升用户体验。
4 结束语
在以5G技术为代表的新兴信息技术与传统建筑行业融合发展的背景下,本文基于5G技术,聚焦铁路工程建设智慧工地,结合5G技术的基本特征,探索铁路工程智能建造与5G技术结合的应用点。在目前5G技术处在方兴未艾之际,应充分利用5G技术的先进性、快速性、便捷性,进一步优化和完善铁路智慧工地系统,保障铁路项目建设安全,提升铁路项目施工质量,从而有效促进铁路行业转型升级。
-
表 1 物理机配置
主机 Cpu 内存 磁盘 Kubernetes-1 16 core 256 GB内存 2*1.92 TB SSD硬盘 Kubernetes-2 16 core 256 GB内存 2*1.92 TB SSD硬盘 Kubernetes-3 16 core 256 GB内存 2*1.92 TB SSD硬盘 Kubernetes-4 16 core 256 GB内存 2*1.92 TB SSD硬盘 Kubernetes-5 16 core 256 GB内存 2*1.92 TB SSD硬盘 表 2 运行情况对比
TensorFlow部署类型 部署及调试耗时 训练耗时 单机部署 12 min 128 min 分布式部署 68 min 64 min 容器化部署 23 min 58 min -
[1] 张军锋. 铁路旅客用户画像系统设计与应用研究 [J]. 铁路计算机应用,2018,27(7):62-65. [2] 翁湦元,单杏花,阎志远,等. 基于Kubernetes的容器云平台设计与实践 [J]. 铁路计算机应用,2019,28(12):49-53. [3] 本刊讯. 谷歌推出TensorFlow 1.4版本:支持分布式训练 [J]. 数据分析与知识发现,2017(11):56. [4] 单杏花,卫瑞明,王炜炜,等. 铁路客运营销辅助决策系统及关键技术研究 [J]. 铁路技术创新,2015(2):123-127. [5] Abadi Martín, Barham Paul, Chen Jianmin, et al. TensorFlow: A system for large-scale machine learning [J]. USENIX Symposium on Operating Systems Design and Implementation, 2016(16): 265-283.
[6] 盛乐标,周庆林,游伟倩,等. Kubernetes高可用集群的部署实践 [J]. 电脑知识与技术,2018,14(26):40-43. [7] Peinl R, Holzschuher F, Pfitzer F. Docker Cluster Management for the Cloud - Survey Results and Own Solution[J]. Journal of Grid Computing, 2016,14(2): 265-282.
[8] Olston C, Fiedel N, Gorovoy K, et al. TensorFlow-Serving: Flexible, High-Performance ML Serving [J]. Conference and Workshop on Neural Information Processing Systems, 2017, 3(2): 1-8.
[9] 余昌发,程学林,杨小虎. 基于Kubernetes的分布式TensorFlow平台的设计与实现 [J]. 计算机科学,2018,45(z2):527-531. -
期刊类型引用(7)
1. 裴燚,刘光宇,雷远彬,张吉磊,陈波波,赵洪一,赵恩铭. 基于RetinaFace和FaceNet算法的佩戴口罩人脸识别系统研究. 大理大学学报. 2024(12): 51-57 . 百度学术
2. 任爽,张敏,王珂,司培培. 照片同源检测技术研究及在电话实名制中的应用. 信息通信技术与政策. 2023(03): 91-96 . 百度学术
3. 陈亮,郑伟. 基于Retina-Face的人眼关键点检测算法研究. 计算机仿真. 2023(09): 213-216+354 . 百度学术
4. 付博闻,李闯闯,梁爱华. 基于改进YOLOv4-tiny的人脸关键点快速检测. 计算机科学. 2022(S2): 450-454 . 百度学术
5. 孙金龙,吴振宁,肖仲喆,黄敏. 关于人脸识别算法对不同照明技术的鲁棒性研究. 电子器件. 2022(05): 1123-1128 . 百度学术
6. 佟昕宇,陆诗慧,聂康善,魏舒祥,张欣然. 基于帧内关系建模的人脸深度伪造视频帧间检测模型. 信息与电脑(理论版). 2022(24): 56-58 . 百度学术
7. 单杏花,张志强,宁斐,李士达,戴琳琳. 中国铁路电子客票关键技术应用与系统实现. 中国铁道科学. 2021(05): 162-173 . 百度学术
其他类型引用(7)