Intelligent vision based personnel intrusion prevention system for railway bridge
-
摘要: 铁路桥梁监测是保障铁路运输安全的重要手段。为提升现有监测系统对铁路大桥人员入侵的检测能力，设计了基于智能视觉的铁路大桥人员入侵防护系统，该系统由视频平台、智能视觉平台及业务管理平台组成。采用YOLOv5目标检测模型进行人员入侵检测；同时，采用多种图像数据增强技术，扩增训练数据集，进一步提升目标检测模型的泛化能力和场景适应能力。在包神铁路集团有限公司万南站区黄河大桥对该系统进行了部署和测试。测试结果表明，该系统对人员入侵检测的准确率为95.3%，检测实时性为2 ms；人员入侵检测的准确率与实时性均满足实际应用要求。Abstract: Railway bridge monitoring is an important means to ensure transportation safety. To enhance the detection capability of existing monitoring systems for railway bridge personnel intrusion, this paper designed a personnel intrusion prevention system for railway bridge that included a video platform, an intelligent visual platform, and a business management platform. The paper adopted the YOLOv5 object detection model for personnel intrusion detection, and adopted multiple image data enhancement technologies to expand the training dataset, further improve the generalization ability and scene adaptation ability of the object detection model. The system was deployed and tested at the Yellow River Bridge in the Wannan Station area of Baoshen Railway Group Limited Liability Company. The experimental results show that the detection accuracy of the system for personnel intrusion is 95.3%, and the real-time detection performance is 2 ms. The accuracy and real-time performance of personnel intrusion detection meet the practical application requirements.
-
铁路大桥作为铁路线路防护重点区域，存在非法穿越、员工误入等人员侵入界限（简称：侵限）行为，给铁路运营带来严重的事故隐患，因此，亟需对铁路大桥的人员入侵情况进行实时监测，保障列车安全运行[1-2]。
目前，针对铁路大桥，多采用人员巡检和护栏布设等手段防止人员入侵，监测的时空范围和防护能力有限。部分铁路桥梁虽然布设了摄像头等监测设备，仍存在误报频繁、依赖人工辨识等问题，检测精度和智能化水平有待进一步提高。针对铁路侵限监测，相关研究人员提出了电网检测[3]、光纤光栅检测[4]、超声波检测[5]、红外线检测[6]、视频检测[7-8]、激光雷达检测[9]等方法，相较之下，视频检测法技术更加成熟，具有检测范围大、检测精度高、获取信息量大等优点[10]。
随着智能视频分析技术的快速发展，基于深度学习的目标检测模型被广泛应用于铁路周界入侵监测[11-12]。作为智能视觉领域重要研究方向，目标检测可以找出图像中所有感兴趣目标，并对之进行定位和分类。作为当前主流的目标检测模型，YOLOv5已在京张（北京—张家口）铁路等轨道交通场景开展了实际应用[13]，具有强鲁棒性和高泛化能力。
光学相机及人工智能技术的快速发展，使得智能视频分析的检测方法被广泛应用于铁路安全保障领域，并取得良好的监测效果。基于此，本文研究铁路大桥人员入侵智能检测技术，构建基于智能视觉的铁路大桥人员入侵防护系统（简称：铁路大桥人员入侵防护系统），实现对入侵人员的实时精准监测，提升铁路大桥人员入侵检测精度和防护水平，有效保障铁路运输安全。
1 系统设计
1.1 系统组成及功能
铁路大桥人员入侵防护系统由视频平台、智能视觉平台及业务管理平台组成，如图1所示。
1.1.1 视频平台及其功能
视频平台主要由视频监测摄像头、数据前端处理模块、数据传输模块等组成。视频监测摄像头由云台、枪机等高清摄像头组成，用于现场数据的采集；数据前端处理模块主要负责图像数据的预处理和暂时存储；数据传输模块主要负责监测数据的回传，包括网口有线传输和4G无线回传等传输模式。视频平台支持相机注册接入及数据采集功能，支持远程视频查看、视频存储及回放等功能。
1.1.2 智能视觉平台及其功能
智能视觉平台通过实时流传输协议（RTSP，Real Time Streaming Protocol）接收视频平台的数据，通过运行深度学习模型，实时监测桥面情况；当检测到人员入侵时，产生告警信息并发送至业务管理平台。
智能视觉平台架构如图2所示。该平台主要提供对图像与视频的智能分析能力，针对铁路海量视频与图像数据，综合运用深度神经网络技术、图像处理技术、视频流分发存储技术，实现数据的智能视觉分析与应用；以组件化的形式提供视频采集、解码、预处理、推理、跟踪、渲染、编码输出等功能，其核心是提供面向铁路场景的视频分析算法库和模型库，及推理加速能力。
1.1.3 业务管理平台及其功能
业务管理平台支持告警信息实时查看、处理，以及历史告警信息查询、结果统计分析、数据查询等操作。
图3所示为业务管理平台告警时抓拍记录的图片，红色线条表示绘制的危险区域，当人员进入该区域时产生告警，便于人工复核，进一步确认入侵情况。
1.2 检测流程
铁路大桥人员入侵防护系统的检测流程如图4所示。
（1） 设置相机预置位与守望位，避免人为移动相机后检测位置不准确；
（2） 配置相机参数，如昼夜参数转换、分辨率、帧率、定时重启等，满足检测基本要求；
（3） 配置检测区域与检测时间，当特定时间段内进入特定区域时产生告警信息；
（4） 配置系统运行参数后开始识别，实时上报告警信息，并通知相关业务人员及时处理。
1.3 系统特点
铁路大桥人员入侵防护系统具有以下特点。
（1）灵活性高：支持自定义危险区域绘制，灵活设置重点关注区域位置。
（2）全天候检测：采用深度学习算法进行人员检测，可适应不同光照条件下的检测。
（3）检测精度高：支持不同远近、不同大小人体目标检测。
（4）响应速度快：连续帧实时目标检测，当有人员进入危险区域时，在1 s内即可产生报警。
（5）可靠性高：采用连续滑窗动态检测，当在一定时间段内持续入侵时，才进行实时检测入侵情况，避免单帧误检引起的误报。
2 关键技术
桥面人员入侵检测的实时性和准确性是制约智能视频检测技术应用的关键问题。本文采用YOLOv5目标检测模型进行人员入侵检测，该模型的网络结构主要由主干（Backbone）网络、颈部（Neck）网络和头部（Head）网络组成。
采用Backbone网络对图像特征进行提取；采用注意力机制（Focus）+跨阶段局部（CSP，Cross Stage Partial）网络模块，以提升图像特征提取速度和检测实时性；采用Neck网络对不同网络层的特征图进行融合，获取图像更丰富的特征信息，以提升检测的准确性；由Head网络层输出检测结果，通过检测框的平移和校准，进一步提升检测的准确性。
2.1 Backbone网络
Backbone网络用于提取图像特征，供后续网络结构使用。YOLOv5的Backbone网络中使用了Focus模块，并设计了2种CSP结构，在保证模型精度的同时大幅提高推理速度；同时，使用空间金字塔池化（SPP，Spatial Pyramid Polling）模块获取不同尺度信息，提高模型性能。
2.1.1 Focus模块
图像输入主干网络之前，先由Focus模块对其进行切片操作，将高分辨率图像拆分成多个低分辨率图像。以一个像素为4×4×3的输入图像为例，对输入特征图进行间隔采样，并将采样结果在通道维度进行拼接，将通道数扩充为原来的4倍，输出像素为2×2×12的特征图，后续的网络层都在新的特征图上进行卷积操作。
假设图像像素为640×640×3，将其输入到YOLOv5中，经过Focus层进行切片操作之后得到像素为320×320×12的特征图，再与通道数为32的卷积层进行卷积操作，最后得到像素为320×320×32的特征图。利用Focus切片操作将图像的平面信息转换为通道维度，可以在确保图像信息无损的前提下实现两倍下采样操作，有效提升网络推理速度。
2.1.2 CPS结构
针对网络优化时，因存在梯度重复计算而导致的推理计算量过大问题，YOLOv5借鉴CSPNet思想，设计了2种CSP模块。其中，CSP1_X用于主干网络，该模块将特征图按通道拆分为两部分，一部分进行标准卷积操作，另一部分利用残差网络思想构建残差组件。最后将这两部分合并得到新的特征图，以避免重复计算梯度值，提高模型推理速度。此外，CSP结构在反向传播过程中可以增强梯度值，当主干网络的层数较深时，可以缓解梯度消失的问题，增强网络的特征提取能力。CSP2_X则用于Neck网络，模块使用卷积层代替残差组件，将输入的特征图分为两部分，分别计算之后再融合，以保留更多图像信息。研究表明，引入CSP模块可有效增强模型的学习能力，能在大幅减少模型计算量的同时保证检测精度。
2.1.3 SPP模块
SPP模块的主要思想是将不同大小的池化层叠加在一起，每个池化层大小与感受野大小成正比，最终获取不同大小的感受野。SPP模块将特征图并行输入到卷积核像素为5×5、9×9和13×13的最大池化层，得到3个最大池化后的特征图，再将4个感受野不同的特征图（分别为输入特征图及3个最大池化后的特征图）拼接到一起。
2.2 Neck网络
针对随着网络层数增加而出现的图像局部信息消失问题，YOLOv5利用Neck网络融合不同像素的特征图，以获取更丰富的图像特征信息，通过将这些经过处理后的特征输入到Head层，更好地分类和定位目标。
在YOLOv5中，Neck网络首先接收Backbone网络的3个不同像素的特征图，将其作为输入，采用特征金字塔网络（FPN，Feature Pyramid Network）结构对深层特征图采样后与浅层特征图融合；再采用PAN（Pyramid Attention Network）结构增加一个自底向上的特征金字塔，对浅层特征图采样后与深层特征图融合。YOLOv5结合FPN和PAN结构，这种设计方式既能自顶向下传递强语义信息，又能自底向上传达强边缘信息，可以有效提高模型性能。
2.3 Head网络
YOLOv5在进行目标检测任务时，首先将图像输入到Backbone网络并提取特征，将Backbone网络提取的特征输入到Neck网络进行加工处理，最后由Head网络层输出目标类别。Head网络层主要负责根据预测的位置偏移量修正候选框的位置，进而得到更加精准的检测结果。
3 现场测试
本文提出的铁路大桥人员入侵防护系统在包神铁路集团有限公司（简称：包神铁路公司）万南站区黄河大桥进行了部署和测试。
3.1 硬件部署
在包神铁路公司万南站区黄河大桥对铁路大桥人员入侵防护系统的硬件设备进行了安装、部署。黄河大桥全长856 m，南北走向。为实现桥面人员入侵检测，在大桥的南、中、北这3个位置分别安装双摄像头，共6个摄像头，如图5所示，实现桥面无死角监控。采用深度学习服务器部署智能视觉平台及业务管理平台，服务器参数如表1所示。
表 1 铁路大桥人员入侵防护系统服务器参数处理器 Intel Xeon Silver 4214R 2.4G/12Core/16.5M/100W/Tray 内存模块 32GB DDR4-2933 ECC REG 存储模块 Seagate ST2000NM0008 2TB/128M/7200RPM/SATA/3.5" GPU NVIDIA Tesla T4 GPU 75W 16GB LP Passive 900-2G183-0000-00 网络 双万兆以太网端口 操作系统 Ubuntu18.04 3.2 模型训练
3.2.1 数据集与数据预处理
在黄河大桥现场，使用桥面相机采集入侵人员图像数据。该数据集覆盖不同时间段、不同天气等各种场景，包含铁路大桥人员入侵的多数情况。通过图像标注软件Labelmg对入侵人员进行标定，共包含27 200张图像数据。按照9 : 1的比例划分训练集与测试集，即24 480张图像用来训练，2 720张用来测试。部分数据集样本如图6所示。
铁路桥梁类型多样，桥梁人员侵限的种类复杂，而基于有限数据进行模型训练的结果具有泛化能力差、场景适应度低等问题，这也是制约人员入侵检测精度的又一关键问题。为提高模型的泛化能力，本文采用随机裁剪、随机翻转、色彩抖动、高斯噪声、Mosaic等图像数据增强技术，增强原始图像数据，解决训练样本不足和样本类型单一的问题，有助于 YOLOv5目标检测模型学习到更多图像特征，提升该模型的泛化能力和场景适应能力。
3.2.2 数据集与数据预处理
表 2 实验环境环境配置 名称 信息 硬件配置 GPU NVIDIA TITAN V CPU Intel Core i7-11800H 内存 16G 显存 12G 软件环境 操作系统 Ubuntu18.04 Python 3.8.0 Pytorch 1.8.0 CUDA 11.1 cuDNN 8.1.0 表 3 超参数设置名称 数值 输入图像分辨率 640×640×3 迭代运行次数 300 批处理大小 4 优化器 SGD 初始学习率 0.01 周期学习率 0.01 学习率动量 0.99 权重衰减系数 0.0001 3.2.3 性能评估
使用训练集数据对YOLOv5目标检测模型进行训练，在每个训练周期（epoch）结束后计算模型损失，并更新模型参数，训练过程Loss变化曲线如图7所示；在训练过程中，从训练集中选择一部分数据作为验证集，用来评估 YOLOv5 目标检测模型的性能，计算该模型在不同指标下的精度和召回率等指标；使用测试集数据测试YOLOv5目标检测模型，评估该模型在新数据上的性能。测试结果为：在测试集上人员检测的准确率为95.3%；在NVIDIA Tesla T4设备上，单张图片平均测试时间为2 ms；人员检测的准确率与实时性均满足工程实际应用要求。
4 结束语
本文设计了基于智能视觉的铁路大桥人员入侵防护系统。采用YOLOV5目标检测模型和多种图像数据增强技术，提升入侵人员检测的准确率和实时性，确保模型的泛化能力与场景适应能力。该系统在包神铁路集团万南站区黄河大桥进行了部署和测试，验证了该系统的有效性和可靠性，实现了高可靠、高精度准确率、全天候实时入侵检测。
本系统可在以下方面持续优化。
（1）工作服区分法：在正常的天窗施工期间，也会有人员告警，大多数为铁路施工人员。未来，可优化深度学习模型，通过工作服区分是否为工作人员，避免误报。
（2）自适应检测区域法：由于桥面相机为多专业共用，会出现人为移动位置的情况，导致绘制的检测区域出现偏差。未来，可通过轨道区域检测等方法，自动调整危险区域，避免漏报。
-
表 1 铁路大桥人员入侵防护系统服务器参数
处理器 Intel Xeon Silver 4214R 2.4G/12Core/16.5M/100W/Tray 内存模块 32GB DDR4-2933 ECC REG 存储模块 Seagate ST2000NM0008 2TB/128M/7200RPM/SATA/3.5" GPU NVIDIA Tesla T4 GPU 75W 16GB LP Passive 900-2G183-0000-00 网络 双万兆以太网端口 操作系统 Ubuntu18.04 
下载: 导出CSV
表 2 实验环境
环境配置 名称 信息 硬件配置 GPU NVIDIA TITAN V CPU Intel Core i7-11800H 内存 16G 显存 12G 软件环境 操作系统 Ubuntu18.04 Python 3.8.0 Pytorch 1.8.0 CUDA 11.1 cuDNN 8.1.0
下载: 导出CSV
表 3 超参数设置
名称 数值 输入图像分辨率 640×640×3 迭代运行次数 300 批处理大小 4 优化器 SGD 初始学习率 0.01 周期学习率 0.01 学习率动量 0.99 权重衰减系数 0.0001
下载: 导出CSV
-
[1] 王 俊,王江丽. 高速铁路防灾安全监控系统设计 [J]. 中国安全科学学报,2018,28(S1):39-45. [2] 贾利民,陈熙元,马小平,等. 基于云边交互机制的自主式高速铁路防灾系统架构 [J]. 中国铁道科学,2022,43(5):165-176. [3] Xu H, Qiao J, Zhang J G, et al. A high-resolution leaky coaxial cable sensor using a wideband chaotic signal [J]. Sensors, 2018, 18(12): 4154. DOI: 10.3390/s18124154
[4] Catalano A, Bruno F A, Pisco M, et al. Intrusion detection system for the protection of railway assets by using fiber Bragg grating sensors: a case study[C]//Proceedings of 2014 Third Mediterranean, 7-9 May, 2014, Trani, Italy. New York: IEEE, 2014: 1-3.
[5] McConnell P R H, Scragg R A. Audio railway crossing detector: USA, 5910929[P]. 1999-06-08.
[6] Garcia J J, Hernandez A, Urena J, et al. Low cost obstacle detection for smart railway infrastructures[C]//Proceedings of the IEEE Intelligent Vehicles Symposium, 14-17 June, 2004, Parma, Italy. New York: IEEE, 2004: 670-675.
[7] Oh S, Park S, Lee C. Vision based platform monitoring system for railway station safety[C]//Proceedings of the 7th International Conference on its Telecommunications, 6-8 June, 2007, Sophia Antipolis, France. New York: IEEE, 2007: 1-5.
[8] Delgado B, Tahboub K, Delp E J. Automatic detection of abnormal human events on train platforms[C]//Proceedings of the IEEE National Aerospace and Electronics Conference, 24-27 June, 2014, Dayton, OH, USA. New York: IEEE, 2014: 169-173.
[9] Shinoda N, Takeuchi T, Kudo N, et al. Fundamental experiment for utilizing LiDAR sensor for railway [J]. International Journal of Transport Development and Integration, 2018, 2(4): 319-329. DOI: 10.2495/TDI-V2-N4-319-329
[10] 王泉东,杨 岳,罗意平,等. 铁路侵限异物检测方法综述 [J]. 铁道科学与工程学报,2019,16(12):3152-3159. [11] 张腾云,荆 涛,霍 炎. 神朔铁路智能视频入侵检测系统设计 [J]. 铁路计算机应用,2012,21(12):1-3. DOI: 10.3969/j.issn.1005-8451.2012.12.001 [12] 杨 栋,黄文政,张秋亮,等. 基于Faster-RCNN的站台端部人员入侵检测研究 [J]. 铁路计算机应用,2020,29(2):6-11. [13] 傅荟瑾,史天运,王 瑞,等. 基于深度学习的京张高速铁路周界图像智能识别系统构建研究 [J]. 铁道运输与经济,2022,44(5):64-72.
计量
- 文章访问数: 132
- HTML全文浏览量: 32
- PDF下载量: 50
