Study on intelligent real-time monitor system for train driver
-
摘要: 针对铁路机车乘务员工作过程中的重点危险因素，研究开发铁路机车乘务员智能实时监测系统。该系统基于深度学习技术和嵌入式视频分析设备，能够有效识别视线脱离、手比异常、疲劳驾驶等不安全作业行为；基于物联网实时获取机车乘务员健康与备班睡眠数据，及时发现机车乘务员健康问题和睡眠不足；该系统改变了依赖于滞后的人工抽查和事后追责的传统机车乘务员监管模式，代之以自动实时检测与即时告警，检测准确度和时效性均有明显提升。Abstract: To deal with the key hazards existing in the working process of train drivers, an intelligent real-time monitoring system for train driver was studied and developed. By using deep learning technology and embedded video analysis devices, this system can effectively recognize unsafe behaviors such as deviated line of vision, abnormal specific gestures, and fatigue driving. Meanwhile, the health and sleep-before-shift data of the train drivers can be acquired in a real-time manner by using Internet of Things technology so that the train drivers' health troubles and sleep insufficiency can be timely discovered and alarms will be sent out immediately. This system can change the traditional mode of supervision on the train drivers by lagging manual selective examination on train drivers’ bad driving behaviors and health as well as accountability after an event and replace it with real-time automatic machine detection and timely alarming in a more accurate and time-effective manner.
-
随着国民经济的快速增长，我国铁路正处于高速发展时期，运输规模不断扩大，铁路运输的安全保障能力面临着更高的要求。
据统计，在导致铁路事故发生的诸多因素中，人为因素占据较高比例[1]。作为列车操纵者，机车乘务员对铁路行车安全起着至关重要的作用。由于列车运行密度增大，加之作息不规律、机车驾驶环境复杂等现实状况，机车乘务员承受着较大工作压力，因机车乘务员疲劳驾驶、个人失误等原因造成的行车安全事故时有发生。另外，机车乘务员群体中，“三高”及心血管疾病发病率也明显高于全国平均水平[2]。上述问题都是铁路行车安全的重大隐患。
本文提出利用人工智能和物联网技术，构建机车乘务员智能监测系统，实时掌握和评估机车乘务员的作业与健康状况，预防行车事故。
1 机车乘务安全管理信息系统现状
在现有的机务信息系统中，针对机车乘务员的管理功能主要有2个方面。
（1）工作流程管理：机务运用安全管理系统中的乘务管理模块实现派班、待乘、出退勤等管理功能[3]。
（2）值乘状态管理：通过机车车载安全防护系统（简称：6A系统）中的机车自动视频监控及记录子系统（简称：AVDR系统）可采集和记录机车乘务员工作状态的监测视频。但受限于现有通信传输条件，大容量车载监测视频数据无法实时传输到地面系统，只能由专职人员进行人工转储，并依靠检查人员进行人工抽查，时效性较差，检查覆盖率低，不能及时发现安全隐患，且人力成本高。此外，受限于检查人员自身业务素质及经验等因素，一些安全隐患难以准确判断，易造成误判和漏报，检查效率和准确性均难以满足管理需求[4]。
目前，国内针对机车乘务员工作状态实时监测已开展了一些相关研究和应用实践。如基于DSP的以眼睛闭合度为判断依据的疲劳检测[5]、利用智能手环获取手部加速度信息的疲劳检测[6]等。特别是近年来，随着物联网、大数据、人工智能技术的迅速发展和日趋成熟，可穿戴设备采集的数据种类日益丰富，为机车乘务员工作状态和健康状况的智能化分析提供了新的技术手段。
2 系统功能
系统采用多种智能感知设备，实时获取机车乘务员在岗过程中的值乘工作状态和健康状态数据，利用深度学习技术和前端AI芯片及时识别机车乘务员的危险工作状态，自动告警，并生成参考建议发送给相关管理人员，增强机车乘务员管理水平，降低机务部门管理成本。
系统功能主要分为工作状态管理和健康睡眠管理2个方面：（1）工作状态管理针对的是机车乘务员因疲劳瞌睡、麻痹大意等可能造成的人为失误、操作不规范等异常工作状态；（2）健康睡眠管理主要是监测机车乘务员健康指标和监测备班睡眠状况，为机车乘务员管理和值乘安排提供决策支持。
系统整体功能框架如图1所示。
2.1 工作状态管理
动态监测机车乘务员值乘过程中的工作状态，包括疲劳状态检测、行为识别、手比及呼唤应答等规定作业流程的执行情况监测，自动识别异常工作状态。
2.2 健康睡眠管理
健康管理利用可穿戴设备（如睡眠带）等采集机车乘务员待乘、值乘时心率、体温等重要体征数据，监测机车乘务员当班前的睡眠时长和质量，帮助管理部门更好地掌握乘务员健康动态，可自动叫班，输出休息合格乘务员名单，作为制定派班计划的参考依据。
2.3 告警与决策支持
分析判断机车乘务员的工作与健康状态，提供告警和通知功能：（1）当机车乘务员的工作状态、行为、健康体征出现异常时，及时提醒乘务员，远程通知相关管理人员；（2）利用长期积累的机车乘务员数据（基本信息、历史监测记录、体检信息等），分析机车乘务员的工作状态和健康状况，生成乘务员画像，为机车乘务员的值乘安排和管理工作提供更多支持。
3 总体架构
机车乘务员智能监测系统采用B/S应用模式，系统总体架构划分为4个层次，如图2所示。
（1）数据采集层：包括各种数据采集设备，目前主要有机车驾驶室的摄像头、获取体征数据的可穿戴设备和各类健康监测设备，自动采集动态监测数据；其中，车载设备采集的数据可由车载智能模块实时进行分析，形成初步的分析结果数据。
（2）数据传输层：将数据采集层数据实时传输到中心服务器，可采用蓝牙、有线网络、Wi-Fi、LTE或5G网络等多种通信制式。
（3）服务层：完成采集数据与导入数据的存储和管理，提供信息搜索、数据分析、图像分析、数据访问、接口等服务，满足应用层各类业务功能需求。
（4）应用层：根据用户需求，提供面向用户的业务应用。
4 部署方案
机车乘务员综合监测系统可划分为地面子系统和车载子系统，系统部署如图3所示。
车载子系统包含车载机车乘务员信息采集设备、车载智能分析模块、通信模块。其中，乘务员信息采集设备包括：（1）手环、心率贴等可穿戴设备及相应的蓝牙AP，用于采集机车乘务员健康数据；（2）行为采集设备（如获取视频图像、语音数据的摄像头、拾音器等）以及车载智能分析设备，用于实时分析乘务员是否出现疲劳、操作不规范等行为。车载子系统通过无线网络与地面子系统通信，实时传送司机状态的智能分析结果、图片、告警消息等。
地面子系统包括：（1）设置在乘务员公寓内的健康监测设备、睡眠监测设备，用于获取机车乘务员备班休息时的体征数据、睡眠数据；（2）设置在机房内的后台服务器、物联网网关、无线通信模块，后台服务器的部署可基于云平台，为后续的系统集成与数据融合预留条件；（3）设置在控制室内的系统操作终端。
5 关键技术
基于人工智能深度学习技术的视频行为分析是机车乘务员智能监测系统采用的核心关键技术。
5.1 人脸关键点检测
人脸关键点检测也称为人脸关键点定位或人脸对齐，基于给定的人脸图像，能够定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、面部轮廓等。
采用级联卷积神经网络（DCNN）[7]，以机车乘务员面部视频图像为输入，实现面部关键点精准定位；同时，采用深度对齐网络（DAN）[8]，将整张图像作为各级网络的输入，以有效消除头部姿态变化对检测精度的影响。
当系统检测到机车乘务员闭眼时，依据设定的闭眼时长阈值，可将被检测者的疲劳、瞌睡状态与正常眨眼区分开，识别出疲劳驾驶状态；通过对面部关键点的关联分析，还可判断被检测者的面部朝向，据此识别出机车乘务员视线脱离前方、驾驶不专注等情况。
5.2 人体姿态估计
基于人体骨骼关键点检测实现人体姿态估计（human pose estimation），判断机车乘务员是否出现异常姿态以及手比执行情况。
其中，人体骨骼关键点对于描述人体姿态、预测人体行为至关重要。利用人体若干关键点（如关节、头部等）数据可构建人体姿态骨架图，每个关键点定义为一组坐标，将关键点连接起来描述人体骨骼，判断人体姿态。随着深度学习技术的进步，通过人体关键点检测实现人体姿态估计的效果会不断提升。
图4展示了机车乘务员人体姿态估计建模与识别效果：左侧为基于机车乘务员图像的人体骨骼关键点检测模型，右侧上、下两图分别展示在白天、夜晚光线条件下对机车乘务员手比的识别效果。
6 试验验证
针对驾驶过程中机车乘务员行为实时分析场景，搭建基于AI智能芯片+深度识别技术的试验系统。该试验系统在机车驾驶室内部署摄像头、嵌入式智能工控机和声光报警设备，采集机车乘务员状态和行为视频，根据驾驶规范对乘务员的异常行为分类标注，基于深度学习技术，利用机车乘务员的状态图像数据进行训练，建立机车乘务员行为分析模型，部署到车载智能设备中，对机车乘务员图像数据进行实时分析。
针对识别的异常行为，系统设置2级响应：1级为语音提醒，发现乘务员异常行为（如视线脱离、疲劳驾驶）时，通过本地语音声光提醒纠正；2级为远程报警，当问题未得到及时纠正时，通过无线网络，将报警事件记录及乘务员异常行为状态图像发送至指定管理部门，并留存备案。
试验表明：（1）系统可准确识别机车乘务员视线脱离、遮挡摄像头、疲劳驾驶、手比不合格现象；（2）检出规则（即视线脱离、遮挡摄像头等现象产生告警的时间阈值）、报警级别及对应规则可灵活配置；（3）采用高性能智能车载设备，体积小，功耗低，能够保证实时分析的速度。利用此车载智能设备实时监测机车乘务员工作状态，识别准确率和效率均能够满足管理要求，适用于车载场景，技术和实践均具备可行性。
7 结束语
针对机车乘务员工作中的主要危险因素，提出机车乘务员工作状态智能监测解决方案；采用深度学习技术，对机车乘务员值乘工作状态图像进行分类学习，建立机车乘务员行为分析模型，可实现较高的异常工作状态检出率，使得机车乘务员工作状态分析无需再依赖于大量经验或通过人工进行提取特征。系统采用体积小、功耗低的高性能AI芯片，能够对车载监测数据进行初步的实时分析。
搭建试验系统，对车载场景下机车乘务员行为实时分析的效果进行验证。通过对乘务员备班、值乘、休息等时段进行全面监测，以及时发现问题并实施干预，保障铁路机车安全驾驶，突破了当前机车乘务员管理工作中存在的监测手段落后、易漏检误判、风险发现滞后等困局。
该方案中，机车乘务员可穿戴设备采集的大量监测数据和分析结果需实时传输到地面系统，对无线传输带宽要求较高。近年来，各铁路局集团有限公司、地方铁路企业陆续开展LTE–R和5G技术的应用研究及现场试验[9]。
目前，系统尚未在实际生产环境中广泛试用，数据积累不足，对历史监测数据的深度分析和应用研究有待进一步开展；同时，需要结合实际应用，深化研究基于监测数据的机车乘务员工作状态分析评价机制和面向管理部门的辅助决策机制，以提高系统分析评价结果的准确性和适用性，增强对机车乘务员安全管理的指导作用；此外，当前研究主要利用重载铁路驾驶场景的视频资料，针对旅客列车、动车组列车场景的应用尚待研究和验证。
-
[1] 王 卓,刁朋娣,贾利民,等. 铁路事故致因与风险分析 [J]. 中国安全科学学报,2012,22(6):79-80. DOI: 10.3969/j.issn.1003-3033.2012.06.013 [2] 孔 博,赵 刚. 机车乘务员职业健康预警系统研究 [J]. 中国安全科学学报,2018,28(S2):180-183. [3] 莫易敏, 周廷美. 铁路机务信息化应用技术概论[M]. 北京: 化学工业出版社, 2017: 143-143. [4] 李 响,徐玉萍,章海亮. 机车司机驾驶疲劳风险动态量化评价研究 [J]. 中国安全科学学报,2017(2):18-23. [5] 吴文娴. 基于被动视觉的机车驾驶疲劳实时检测系统的研究 [J]. 铁路计算机应用,2011,20(2):5-9. DOI: 10.3969/j.issn.1005-8451.2011.02.002 [6] 杨 栋. 基于智能手环的动车司机疲劳驾驶检测系统 [J]. 铁路计算机应用,2017,26(8):13-15. DOI: 10.3969/j.issn.1005-8451.2017.08.004 [7] Sun Y, Wang X, Tang X. Deep Convolutional Network Cascade for Facial Point Detection[C]// 2013 IEEE Conference on Computer Vision and Pattern Recognition, 2013: 3476-3483.
[8] Kowalski M, Naruniec J, Trzcinski T. Deep Alignment Network: A Convolutional Neural Network for Robust Face Alignment[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 2034-2043.
[9] 姜永富. 抓住机遇推进铁路无线通信技术创新发展 [J]. 中国无线电,2018(12):23-25. DOI: 10.3969/j.issn.1672-7797.2018.05.015 -
期刊类型引用(0)
其他类型引用(2)
下载:
计量
- 文章访问数: 190
- HTML全文浏览量: 69
- PDF下载量: 59
- 被引次数: 2
