Anti-intrusion limit monitoring system for engineering involving railways based on fusion technology of laser radar and camera
-
摘要:
针对涉铁工程建设不断增多，防侵限监测需求持续提升的情况，设计了一种基于激光雷达和摄像头融合技术（简称：雷视融合）的涉铁工程防侵限监测系统。该系统采用铁路局集团公司监控中心、工地监控中心和现场防侵限监测设备三级架构，实现了针对涉铁工程侵限事件的精准监控和报警。文章阐述了该系统的具体功能和关键技术，并在涉铁工程项目中进行实际部署与测试，验证了系统的性能，具有推广价值。
Abstract:In response to the increasing construction of engineering involving railways and the continuous improvement of the demand for anti-intrusion limit monitoring, this paper designed an anti-intrusion limit monitoring system for engineering involving railways based on the fusion technology of laser radar and camera. The system adopted a three-level architecture consisting of the monitoring center of the railway group company, the construction site monitoring center, and the on-site anti-intrusion limit monitoring equipment, implemented precise monitoring and alarm for intrusion limit events in engineering involving railways. The paper elaborated on the specific functions and key technologies of the system, and deployed and tested the system in an engineering project involving railways to verify its performance, which had promotional value.
-
随着交通强国战略和区域一体化发展战略的深入实施，交通基础设施建设高速发展，地方公路、市政道路、城市轨道交通、航道、管线等与既有铁路交叉的涉铁工程，项目数量大幅增加，工程类型多样，施工技术难度不断增大，给铁路运营安全带来了严峻的挑战和压力[1]。涉铁工程中普遍使用了各类大型机械设备，一旦大型机械设备控制不当侵入铁路限界，将会发生严重的行车安全事故[2]。
近年来，各铁路局集团公司管辖内涉铁工程建设需求逐年增加，其中，中国铁路上海局集团有限公司平均每年在建的各类涉铁工程达300余项。各铁路局集团公司在对涉铁工程防侵限监测技术/设施的实际运用过程中，仍存在应用场景受限、检测结果不够精准、抗干扰能力较差等诸多问题[2-5]。鉴于此，本文设计了基于激光雷达和视频融合技术（简称：雷视融合）的涉铁工程防侵限监测系统，有助于提高涉铁施工的安全防护水平，实现对大型机械设备的精准监控和侵限预警。
1 系统设计
1.1 系统架构
涉铁工程防侵限监测系统采用现场防侵限监测设备、工地监控中心、铁路局集团公司监控中心的三级架构，系统架构如图1所示。
（1）现场防侵限监测设备负责对探测设备采集的数据进行智能分析，将分析结果推送至工地监控中心；示警灯和报警喇叭用于进行声光报警。现场防侵限监测设备如图2所示，激光雷达+摄像头融合设备如图3所示。
（2）工地监控中心承担着现场实时监测、报警快速响应的关键任务。现场报警信息通过监控大屏进行展示，并控制现场防侵限监测设备进行声光报警，报警日志存储在服务器中，并将现场关键数据信息推送至铁路局集团公司监控中心。
（3）铁路局集团公司监控中心负责汇总、统计和分析铁路局集团公司范围内的涉铁工程工地监控中心的报警信息，为铁路局集团公司的涉铁工程管理提供系统支撑。
1.2 系统功能
涉铁工程防侵限监测系统功能架构如图4所示。
1.2.1 现场防侵限监测设备
（1）流处理：负责实时接收来自激光雷达的点云流数据和摄像头的视频流数据，并执行数据清洗与过滤工作，以满足后续处理的高效性和准确性要求。
（2）数据融合：采用激光雷达与摄像头联合标定的方式，融合激光雷达的点云流数据和摄像头的视频流数据，使其在空间上精准对齐，以满足算法推理对输入数据的要求。
（3）数据存储：存储融合对齐后的数据，便于报警追溯和分析。
（4）算法推理：基于融合对齐后的数据进行算法推理，并将推理结果推送至工地监控中心。
（5）时间同步：基于不同采样频率的摄像头和激光雷达间的时间帧差进行设备时间同步，确保点云流数据和视频流数据在时间上的一致性。
（6）设备自检：定时对激光雷达和摄像头执行自我检测程序，全面检查其工作状态、性能指标、网络连接状态等，确保设备处于稳定运行状态，及时发现并处理设备和运行环境的潜在故障。
1.2.2 工地监控中心
（1）可视化监测：通过可视化监控大屏实时展示现场画面及防侵限监测设备的各项数据，包括融合处理后的综合视图和实时报警等信息，能够直观反映现场的安全状况。
（2）侵限报警：该功能基于现场防侵限监测设备发送的算法推理结果和可配置的侵限报警规则，判定所监测的事件是否为涉铁工程侵限事件。若是，则按侵限程度启动预警或报警程序。根据侵限事件的持续时间、侵限程度等信息进行报警消除或报警升级。对侵限预警进行现场设备声音报警、监控大屏弹窗提醒；对侵限报警进行现场设备声光报警、短信通知和监控大屏弹窗报警。
（3）报警管理：负责监控、记录、分类所有侵限报警信息，包括报警时间、区域、类型、处理状态等，并将关键信息实时推送至铁路局集团公司监控中心。
（4）设备管理：对现场防侵限监测设备进行远程管理和控制，包括设备的在线状态监测、配置参数调整和软件版本升级等，使其保持最佳运行状态，减少维护成本。
1.2.3 铁路局集团公司监控中心
（1）应急指挥：当发生重大侵限事件或紧急情况时，启动应急指挥机制，通过视频会议、即时通讯等方式协调各工地监控中心，快速响应并有效处置，最大限度地减少事故损失。
（2）算法管理：负责防侵限监测算法的管理与优化，通过收集各工地监控中心反馈的算法推理效果与实际应用中的问题，建立侵限物体标签库，对算法进行迭代升级，提高检测的精准度和抗干扰能力。同时，支持算法远程更新，确保各工地监控中心能够同步获得最新的算法优化成果。
（3）视频管理：汇聚各工地监控中心上传的关键视频流，提供视频回放功能，重现特定时间段的现场情况，为报警分析功能提供数据支撑。
（4）报警分析：支持管理人员对铁路局集团公司范围内涉铁工程侵限报警相关信息的汇总、统计和分析，以便优化涉铁工程防侵限监测策略，提高应急响应效率。
2 关键技术
2.1 雷视融合的联合标定技术
2.1.1 联合标定原理
由于现场防侵限监测设备中激光雷达和摄像头设备的位置和视野不同，并且每个传感器都有自身独立的坐标系，为获得激光雷达点云检测结果和摄像头图像检测结果的一致性描述，须利用联合标定的方式将每个传感器的独立坐标系转换为统一坐标系，以实现传感器数据间的相互关联与空间同步。
激光雷达点云流数据与摄像头视频流数据的联合标定涉及到激光雷达坐标系、摄像头坐标系、图像像素坐标系。激光雷达坐标系用于描述被检测目标与激光雷达的相对位置，表示为
$ ({{X}}_{{L}},{{Y}}_{{L}},{{Z}}_{{L}}) $ ，激光雷达几何中心为坐标原点；摄像头坐标系用于描述被检测目标与摄像头的相对位置，表示为$ ({{X}}_{{C}},{{Y}}_{{C}},{{Z}}_{{C}}) $ ，$ {{X}}_{{C}} $ 与图像坐标$ \mathrm{\mathit{x}} $ 轴平行，$ {{Y}}_{{C}} $ 轴与图像坐标$ \mathit{\mathit{\mathrm{\mathit{y}}}} $ 轴平行，$ {{Z}}_{{C}} $ 轴与摄像头光轴平行，摄像头光心为坐标原点；图像像素坐标系用于描述被检测目标在摄像头所成像的二维图像中的位置，表示为$ ({{X}}_{{P}},{{Y}}_{{P}}) $ ，以图像的左上角为坐标原点。2.1.2 联合标定具体步骤
（1）摄像头内部参数标定
本文采用张正友相机标定算法[6]，并利用Matlab中的相机标定工具Camera Calibrator计算内部参数矩阵K。利用其实现摄像头坐标系与图像像素坐标系的转换，公式为
$$ {{\boldsymbol{Z}}}_{{\boldsymbol{C}}}\left[\begin{array}{c}{X}_{P}\\ {Y}_{P}\\ 1\end{array}\right]={\boldsymbol{K}}\left[\begin{array}{c}{X}_{C}\\ {Y}_{C}\\ {Z}_{C}\end{array}\right] $$ (1) （2）外部参数标定
激光雷达坐标系转换到摄像头坐标系属于刚体变换，即物体不会发生形变，只进行旋转和平移变换，变换矩阵为
$$ \left[\begin{array}{c}{X}_{C}\\ {Y}_{C}\\ {Z}_{C}\\ 1\end{array}\right]=\left[\begin{array}{cc}{\boldsymbol{R}}& {\boldsymbol{T}}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_{L}\\ {Y}_{L}\\ {Z}_{L}\\ 1\end{array}\right] $$ (2) 式（2）中，
$ {\boldsymbol{R}} $ 为3×3的旋转矩阵；$ {\boldsymbol{T}} $ 为3×1的平移向量。将激光雷达与摄像头保持静止，并进行10～15 s的数据录制。利用direct_visual_lidar_calibration开源工具箱[7]，通过手动挑选至少3个以上的点云流数据与视频流数据中的对应点，启动工具箱中的配准程序，即可完成自动化联合标定。
2.2 基于激光雷达三维点云的目标检测
激光雷达采集的点云流数据保留了物体及场景在三维空间中原始且丰富的几何结构信息和细粒度尺度细节。主流的三维点云目标检测算法主要采用深度学习算法，根据点云处理方式的不同，可分为基于体素的算法[8-10]和基于点的算法[11-13]。深度学习算法需要大量的数据和计算资源来进行训练，且神经网络中参数数量较多，调节参数通常需要进行大量的试验和验证，成本较高。本文采用算法流程简明的点云过滤聚类算法来平衡检测性能和算力成本。点云过滤聚类算法步骤如下。
（1）数据预处理：激光雷达采集点云流数据时存在一定噪点，采用数据清除和平滑等处理噪点。
（2）截取数据区域：过滤掉预先采集的固定设施的点云流数据，并截取数据范围，聚焦在防侵限区域，降低后续过程的计算量。
（3）数据叠加：激光雷达采集离设备较远处物体时，点云流数据稀疏，通过叠加当前帧和前若干个帧的数据，增强数据的稠密度，提升对远距离目标的感知效果。同时，多帧叠加可降低点云流数据波动，减少偶然误差。
（4）体素下采样：对叠加后的数据进行体素下采样，降低点云密度，在保持点云的特征不变的同时降低数据量。
（5）数据聚类：通过K-means、DBSCAN等算法对数据进行聚类，监测是否有目标侵限。
（6）聚类后处理：基于设定的防侵限规则，对聚类结果进行过滤处理。将过滤后的目标物体点云流数据切分固定数量的三维区域后，进行特征提取，并采用分类回归树算法对提取的特征进行分类，判断其是否为侵限物体标签库中的物体，若是则输出具体标签，否则标为“异物”。
（7）计算目标物体三维位置信息：根据聚类与分类结果，结合点云流数据中的坐标信息，输出目标物体的三维坐标框和标签，用于后续的防侵限监测。
2.3 基于雷视融合的防侵限监测技术
为保障防侵限监测的低误报和零漏报，本文基于2.1节中的技术，将点云流数据与视频流数据对齐，基于雷视融合的检测结果，实现防侵限监测，具体流程如图5所示。
（1）启动2.2节所述的基于激光雷达三维点云的目标检测程序，当在防侵限区域检测到物体时，则继续执行后续步骤。
（2）基于2.2节得到目标物体的三维坐标框
$ T $ 和标签$ {L}_{1} $ ，将目标物体的三维坐标框$ T $ 转换为二维坐标框$ A $ ，即从激光雷达坐标系转换为像素坐标系。（3）启动基于视频流的检测程序，得到视频目标检测结果[14]，即二维坐标框
$ B $ 和标签$ {L}_{2} $ 。（4）计算二维坐标框
$ A $ 和$ B $ 的交并比$ {I} $ ，若$ {I} $ >设定的交并比阈值$ {I}_{k} $ ，则执行步骤5；若$ {I}\le {I}_{k} $ ，则输出三维坐标$ T $ ，标签为“异物”。（5）若标签
$ {L}_{1}={L}_{2} $ ，则输出三维坐标T，标签为$ {L}_{1} $ ；否则，输出三维坐标T，标签为“异物”。3 系统实施
基于雷视融合的涉铁工程防侵限监测系统于2024年4月在常州新孟河延伸拓浚工程新北段穿越京沪高铁、沪宁城际、京沪铁路工程项目上部署并进行了测试。
现场防侵限监测设备部署方案如图6所示，安装了2套现场防侵限监测设备。该工地的工地监控中心实时展示现场摄像头画面和激光雷达点云图像，如图7所示。当发生侵限预警时，工地监控中心自动记录视频影像，施工现场进行声音预警和监控大屏弹窗提醒；当发生侵限报警时，工地监控中心自动记录视频影像，并将报警关键信息推送至铁路局集团公司监控中心，短信通知到相关负责人，同时施工现场进行声光报警、监控大屏界面弹窗报警，铁路局集团公司监控中心进行远程盯控和指挥。
经过现场部署与测试，2024年4月1日—2024年5月30日，本系统共计完成
3864 次预警和报警，其中，预警记录3057 次，占比79.115%；报警记录807次，占比20.885%；误报预警1次，误报率0.026%；报警均准确、没有误报，现场使用效果如图8所示。综上，本系统性能满足实际需要，具备推广使用价值。4 结束语
本文针对铁路行业涉铁工程施工面临的严峻安全形势，特别是大型机械设备侵限风险的问题，设计了基于雷视融合的涉铁工程防侵限监测系统。通过雷视融合，结合数据分析和融合处理技术，提高本系统在现场使用的准确率，为涉铁工程的安全管理提供了技术手段。随着技术的不断迭代和应用场景的拓展，在后续的研究中将进一步尝试针对雷达点云流数据进行更高质量的滤波算法处理，同时对检测目标进行更细粒度的分类，进一步提高准确率，减少漏报率，降低误报率。
-
[1] 上海东华地方铁路开发有限公司. 涉铁工程典型案例[M]. 北京:中国铁道出版社有限公司,2024. [2] 刘祥敏. 临近铁路营业线大型机械设备的施工安全监管[J]. 设备管理与维修,2017(9):23-25. [3] 李 传,谢征宇,李永玲,等. 高速铁路周界入侵视频图像样本库[J]. 中国铁路,2021(3):136-143. [4] 宋小齐,袁钱芳. 基于多种传感技术融合的高铁周界入侵监测报警技术及应用[J]. 中国铁路,2023(10):143-150,157. [5] 朱涨鑫,谢以顺,铁 栋,等.基于UWB的铁路营业线施工要素定位与风险防控研究[J/OL].铁道标准设计,1-8.(2024-02-01)[2024-06-20]. https://doi.org/10.13238/j.issn.1004-2954.202305020002. [6] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. DOI: 10.1109/34.888718
[7] Koide K, Oishi S, Yokozuka M, et al. General, single-shot, target-less, and automatic LiDAR-camera extrinsic calibration toolbox[C]//2023 IEEE International Conference on Robotics and Automation (ICRA), 29 May-2 June, 2023, London, United Kingdom. New York, USA: IEEE, 2023. 11301-11307.
[8] Zhou Y, Tuzel O. VoxelNet: End-to-end learning for point cloud based 3d object detection[C]//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 18-23 June, 2018, Salt Lake City, USA. New York, USA: IEEE, 2018. 4490-4499.
[9] Yan Y, Mao Y X, Li B. SECOND: Sparsely embedded convolutional detection[J]. Sensors, 2018, 18(10): 3337. DOI: 10.3390/s18103337
[10] 胡 杰,安永鹏,徐文才,等. 基于激光点云的深度语义和位置信息融合的三维目标检测[J]. 中国激光,2023,50(10):1010003. [11] Charles R Q, Su H, Mo K C, et al. PointNet: Deep learning on point sets for 3d classification and segmentation[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition, 21-26 July, 2017, Honolulu, USA. New York, USA: IEEE, 2017. 77-85.
[12] Qi C R, Yi L, Su H, et al. PointNet++: Deep hierarchical feature learning on point sets in a metric space[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems, 4 December, 2017, Long Beach, USA. Red Hook: Curran Associates Inc. , 2017. 5105-5114.
[13] Shi S S, Wang X G, Li H S. PointRCNN: 3d object proposal generation and detection from point cloud[C]//Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 15-20 June, 2019, Long Beach, USA. New York, USA: IEEE, 2019. 770-779.
[14] 郑相波,姚国栋,史方圆,等. 大型施工机械监管系统智能视频分析模型研究[J]. 铁路计算机应用,2024,33(4):23-29.
下载:
计量
- 文章访问数: 67
- HTML全文浏览量: 27
- PDF下载量: 41
