Intelligent detection of foreign objects in railway catenary based on neural network fusion model
-
摘要:
针对影响铁路接触网正常运行的异物问题，提出了一种基于神经网络融合模型的铁路接触网异物智能检测模型。以Faster R-CNN框架为基础，增加特征金字塔结构以学习图像不同尺度的特征；针对不同异物类型，将其分为鸟巢和轻质漂浮物，并运用ResNet50和ResNet101作为骨架网络，分别针对具有单一特征的鸟巢和特征复杂多变的轻质漂浮物进行识别；融合2个网络的识别框，得到精确的识别结果。对比实验表明，该模型的检测结果优于常规目标检测方法，可有效降低铁路接触网异物检测的人工成本，为铁路接触网的稳定运营提供了可行的解决方案。
Abstract:This paper proposed an intelligent detection model for foreign objects in railway catenary based on neural network fusion model, aimed at addressing the issue of foreign objects affecting the normal operation of railway catenary. Based on the Faster R-CNN framework, the paper added a feature pyramid structure to learn features of images at different scales, divided different types of foreign objects into bird nests and lightweight floating objects, and used ResNet50 and ResNet101 as skeleton networks to identify bird nests with a single feature and lightweight floating objects with complex and variable features, respectively, and integrated the recognition boxes of two networks to obtain accurate recognition results. Comparative experiments show that the detection results of this model are superior to conventional object detection methods, which can effectively reduce the labor cost of foreign object detection in railway catenary and provide a feasible solution for the stable operation of railway catenary.
-
在电气化铁路系统中，铁路接触网（简称：接触网）是为列车供电的重要设施。然而，接触网经常受到各种异物的干扰，包括鸟巢、风筝、编织袋、气球等。这些异物可引发接触网的故障，甚至危及列车运行安全和乘客安全。因此，如何及时发现和监测接触网上的异物是亟需解决的问题。
近年来，视频检测技术常被用在接触网的异物检测场景中。该技术通过分析铁路线路上的视频图像，自动识别异物和警示潜在的安全隐患。与传统的人员巡查方法相比，基于视频检测的方法具有高效、实时和人力成本低等优势，然而，其实际应用仍然面临一系列挑战。目前，接触网异物的样本数较少，难以获取大量的异物视频和图片；同时，铁路环境复杂多变，天气和光线等因素可能影响视频图像质量，从而降低检测算法的准确性；此外，异物类型多，特征复杂多变，不具备统一性。因此，如何提高接触网异物检测的准确性，成为当前亟需解决的问题。
相关学者已提出了一些适用于接触网异物检测的方法。段旺旺等人[1]应用方向梯度直方图提取疑似鸟巢的关键区域，使用支持向量机（SVM，Support Vector Machine）对关键区域进行分类判断，实现对接触网上鸟巢的识别；徐伟等人[2]提出使用卷积神经网络（CNN，Convolutional Neural Networks），实现对在接触网安全巡检装置获取的图像中鸟巢的检测；Li等人[3]采用Faster-RCNN，检测无人机拍摄画面，从而精确定位电塔上的鸟巢；王纪武等人[4]以Faster R-CNN（Region-CNN）为基础结构，通过调整RPN（Region Proposal Network）层滑动窗口的步长，提升了接触网鸟巢检测的精度；Ji等人[5]使用YOLO（You Only Look Once）v5s构建小型模型，实现对电塔上鸟巢的检测；王晓红等人[6]以YOLOv5为基础，通过修改特征提取网络，提高了接触网鸟巢检测的准确性和速度。
上述方法存在以下问题：（1）当前提出的方法大多针对鸟巢这一特定的接触网异物，较少涉及到其他种类的异物。在实际场景中，风筝、气球、塑料袋等轻质漂浮物同样是引发接触网故障的重要因素；（2）异物样本数量较少、难以获取，导致接触网异物检测模型的泛化性和鲁棒性较差。
综上所述，本文提出了一种基于神经网络融合模型的铁路接触网异物智能检测模型（简称：异物检测模型），实现了针对风筝、编织袋、气球、塑料袋、丝带、鸟巢等接触网异物的检测和识别。使用图像生成软件、3D建模等手段，解决异物样本匮乏的问题，增强模型的鲁棒性，对Faster-RCNN模型进行改进，使其能更好地提取特征，并使用识别框融合的策略，提升模型识别效果。
1 数据集构建
本文通过在某铁路局集团公司供电段监控视频和互联网上进行搜集的方式，共搜集到
1800 余张接触网异物图片。由于接触网异物种类繁多，且不同异物特征迥异，识别难度较大，因此，为确保异物检测模型的拟合效果，提升泛化性和鲁棒性，本文使用4种方式对数据集进行扩充。1.1 像素直方图修改
通过修改样本图像的直方图，生成多个变种的图像，以模拟早晨、正午、午后、黄昏等不同光照条件下的图像，使异物检测模型能够更好地适应不同光照和环境条件。
1.2 样本数据生成
使用Photoshop等图像处理软件，生成与实际场景特征相似的正样本数据及不应被识别为异物的负样本数据。通过这2类数据，在提高异物检测模型性能的同时，增加其鲁棒性和抗干扰能力。
1.3 3D建模
使用Unity3D软件对接触网和异物分布情况进行建模，从而快速生成多角度的异物图像。该方法可快速修改异物目标位置，批量生成样本图像，如图1所示。
1.4 图像生成
使用table diffusion、Adobe Firefly、Midjourney等图像生成软件，通过“以图生图”的方式，可生成大量与实际场景相似的数据，以提升异物检测模型的泛化性，如图2所示。
本文通过上述4种生成手段，将接触网异物样本图像数量扩充至
2700 张，基本解决了异物数据匮乏的问题。此外，为确保异物检测模型的充分拟合，还使用了随机旋转、翻转、平移、添加噪声等一系列手段进行了数据增强。数据增强后的样本数量达到了27000 余张。本文将接触网异物划分为鸟巢和轻质漂浮物2个类别，对样本图片进行分类标注，并将标注后的数据集按照7∶2∶1的比例分成训练集、验证集和测试集，用于模型训练和评价。2 异物检测模型建立
2.1 模型选型
考虑到接触网异物具有鲜明的位置特征（只出现在高压线和电塔附近）。因此，本文选择对待检测目标位置更加敏感的二阶段目标检测模型Faster R-CNN作为基础模型，并对其进行改进。Faster R-CNN的网络架构如图3所示[7]。第1阶段：该架构通过一个骨架网络（BackBone）对输入的图像进行特征学习和提取，将提取后的特征生成不同大小的特征图，并通过处理特征图，给出所有可能存在物体的候选框；第2阶段：通过区域兴趣池化（RoIPooling）结构收集生成的特征图和候选框，经过一系列全连接层（FC），对候选框进行分类和回归，从而输出识别结果。
2.2 改进方法
2.2.1 FPN层
为解决Faster R-CNN特征学习不够充分的问题，本文在其骨架网络之后添加了特征金字塔网络（FPN，Feature Pyramid Network）层，FPN层架构如图4所示。
C2～C5为骨架网络生成的尺寸由大到小排列的特征图。其中，C2输入的特征图尺度为160×160，感受野（Receptive Field）为4×4，用于识别小目标特征；C3输入的特征图尺度为80×80，感受野为8×8，用于识别中等大小目标的特征；C4输入的特征图尺度为40×40，感受野为16×16，用于识别常规大小目标的特征；C5输入的特征图尺度为20×20，感受野为32×32，用于识别大目标的特征。
FPN通过自顶向下的路径来融合不同尺度的特征图，同时，利用C2、C3这些低层特征的高分辨率信息和C4、C5这些高层特征的语义信息，提升对小物体的检测效果。图4中，P2～P5为FPN结构输出的不同尺寸的特征图。
2.2.2 RoIAlign
本文将Faster R-CNN网络中使用的RoIPooling替换为区域兴趣对齐（RoIAlign）结构[8]。在RoIPooling结构中，通常需要将第1阶段生成的候选框边界量化为整数点坐标值。而RoIAlign结构则取消了量化操作，保持候选框的浮点数边界，从而减少了特征处理时的像素误差，提升了识别效果。
2.2.3 特征融合层
本文通过对接触网异物样本进行分析后，发现鸟巢和轻质漂浮物这2类异物的特点如下。
（1）鸟巢：特征相对统一。位置方面，由于高压电线上无法筑巢，因此，鸟巢均位于电塔的铁架上；形态方面，鸟巢大多由树枝组成，形状相对统一；颜色方面，通常呈棕灰色。
（2）轻质漂浮物：特征相对离散。位置方面，由于轻质漂浮物基本是由风吹等原因缠到接触网上的，因此其位置相对随机，可能出现在接触网的任何地方；形态方面，由于轻质漂浮物种类繁多，单论其中任意一种漂浮物，其形态都多种多样，因此，该类别在形态上共性较少；颜色方面，轻质漂浮物颜色较丰富，不具备统一的颜色特征。
考虑到2类异物样本的显著区别，使用同一个神经网络同时训练2种数据难以满足实际需要。因此，本文选择使用2种具有不同骨架网络的Faster R-CNN对这2类异物数据进行针对性的训练，训练完成后，再使用一个特征融合层，得到最终的识别结果，异物检测模型架构如图5所示。
针对鸟巢样本，本文使用过拟合程度弱、可学习特征少，且适用于学习特征简单清晰的样本的Resnet50作为骨架网络进行训练，并适当增加迭代次数以提升其特征提取能力；针对轻质漂浮物样本，使用过拟合程度强、可学习特征多，且适用于学习特征复杂多变的样本的Resnet101作为骨架网络进行训练，并适当减少训练次数，防止过拟合，尽量提取通用特征。
训练完成后，增加特征融合（Feature Fusion）层，使用置信度加权的方式，对2个网络给出的最终识别框进行加权融合。融合策略为：（1）剔除置信度较低的候选框，得到融合候选框；（2）针对2个神经网络输出的候选框中，重叠交并比大于0.6的候选框，根据置信度加权的思路，只保留其中之一，从而得到最终的识别结果。针对鸟巢类别，给予Resnet50骨架网络的模型更高的置信度权重；与之相对的，针对轻质漂浮物类别，给予Resnet101骨架网络的模型更高的置信度权重。
2.3 模型训练
2.3.1 训练环境与超参数
本文基于GeForce RTX 3090显卡和24 GB显存进行模型训练和实验。总迭代次数方面，针对鸟巢样本进行训练的网络迭代次数为
50000 次；针对轻质漂浮物样本进行训练的网络迭代次数为70000 次；参与对比实验的网络模型，总迭代次数为60000 次。优化器统一选用Adam。初始学习率设为1e-4，学习率变化策略采用Linear Scaling Rule的思想[9]，其核心原则是：训练时，当批尺寸（batch size）乘以系数k，同样，学习率（learning rate）也要乘以这个系数k。 其公式为$$\begin{aligned} lr=&LR\times \left[ \frac{Iter}{WarmUp\_Iters}+WarmUp\_Factor\times \right. \\ & \left. \left( 1-\frac{Iter}{WarmUp\_Iters} \right) \right]\times Gamm{{a}^{f(Steps,Iter)}} \\ \end{aligned} $$ (1) 式（1）中，
$ lr $ 为当前时刻学习率；LR为初始学习率；Iter为迭代次数；WarmUp_Factor为热身因子，设为1e-3；WarmUp_Iters为热身轮次，设为1000 ；Gamma设为0.1；Steps是用于定义学习率调整的关键点，其值是一个列表，本文设定为[30000 ,40000 ,50000 ]。2.3.2 评价指标
本文选用主流的目标检测评价指标平均均值精度（mAP50，mean Average Precision at 50% Intersection over Union）来进行评价。均值精度（AP，Average Precision）值由精确率（P）和召回率（R）计算得出，二者的计算公式为
$$ P=\frac{TP}{TP+FP} $$ (2) $$ R=\frac{TP}{TP+FN} $$ (3) 式（2）、（3）中，TP表示真正例；FP表示假正例；FN表示假负例。通过计算精确率−召回率曲线（P-R曲线）围成的面积，可得到每个类别的AP值。mAP50即为所有类的AP的平均值。其值越高，说明模型在各个类别上的检测效果越好。
2.4 实验结果及分析
2.4.1 消融实验
为评估结构改进的有效性，本文选用基础模型Faster R-CNN，分别使用Resnet50和Resnet101作为骨架网络进行了训练，并对改进模型进行了消融实验，选用4个对比模型。模型1：Faster R-CNN（骨干网络Resnet50）；模型2：Faster R-CNN（骨干网络Resnet101）；模型3：Faster R-CNN（骨干网络Resnet50）+FPN+RoIAlign；模型4：Faster R-CNN（骨干网络Resnet101）+FPN+RoIAlign。实验结果如表1所示。
表 1 模型结构消融实验模型 mAP50 鸟巢 轻质漂浮物 综合精度 模型1 0.8255 0.8679 0.8467 模型2 0.8911 0.8795 0.8853 模型3 0.8536 0.8728 0.8632 模型4 0.9103 0.8949 0.9026 本文的异物检测模型 0.9467 0.9141 0.9304 由表1可看出，本文新增的FPN和 RoIAlign结构确实对原网络的识别精度有一定程度的提升。同时，使用了网络融合思想的本文异物检测模型相较于未进行网络融合的单模型，在异物识别的准确率上有显著提升。
2.4.2 对比实验
为了更好地证明本文异物检测模型的有效性和优越性，选取了一阶段目标检测模型YOLO-Nas及本文所使用的基础模型Faster R-CNN做为对比模型进行对比实验。实验结果如表2所示。此外，在图6中更直观地展示了不同模型的异物识别效果。
表 2 模型识别精度对比模型 mAP50 鸟巢 轻质漂浮物 综合精度 YOLO-Nas 0.7628 0.5486 0.6557 Faster R-CNN （骨干网络Resnet50） 0.8255 0.8674 0.8467 Faster R-CNN （骨干网络Resnet101） 0.8911 0.8795 0.8853 本文的异物检测模型 0.9467 0.9141 0.9304 从表2和图6中能够清晰地看出，本文的异物检测模型在针对接触网鸟巢识别和轻质漂浮物识别的任务上，较各类对比模型具有更高的准确率。
3 应用情况
本文设计并实现的接触网异物检测模型于2022年11月起在中国铁路济南局集团有限公司济南供电段进行了为期一年的测试，测试场景包括高速铁路车载摄像头画面、现场工作人员手持设备拍摄画面、铁路沿线摄像头画面等。据现场反馈，本文的异物检测模型的识别效果较好，可满足现场实际工作需要，在一定程度上提高了铁路接触网安全保障水平，部分测试效果如图7所示。
4 结束语
本文提出一种基于神经网络融合模型的铁路接触网异物检测方法，与主流异物检测模型对比证明，本文方法在鸟巢和轻质漂浮物2个类别上均有良好的检测精度，可满足现场实际工作需要，在一定程度上提高了铁路接触网安全保障水平。鉴于接触网异物定义的广泛性和种类的多样性，采用传统神经网络模型进行接触网异物识别依然面临多方面的挑战。未来，随着视觉大模型技术的发展，有望为接触网异物的高精度检测提供更有效的解决方案。
-
表 1 模型结构消融实验
模型 mAP50 鸟巢 轻质漂浮物 综合精度 模型1 0.8255 0.8679 0.8467 模型2 0.8911 0.8795 0.8853 模型3 0.8536 0.8728 0.8632 模型4 0.9103 0.8949 0.9026 本文的异物检测模型 0.9467 0.9141 0.9304 
下载: 导出CSV
表 2 模型识别精度对比
模型 mAP50 鸟巢 轻质漂浮物 综合精度 YOLO-Nas 0.7628 0.5486 0.6557 Faster R-CNN （骨干网络Resnet50） 0.8255 0.8674 0.8467 Faster R-CNN （骨干网络Resnet101） 0.8911 0.8795 0.8853 本文的异物检测模型 0.9467 0.9141 0.9304
下载: 导出CSV
-
[1] 段旺旺,唐 鹏,金炜东,等. 基于关键区域HOG特征的铁路接触网鸟巢检测[J]. 中国铁路,2015(8):73-77. DOI: 10.3969/j.issn.1001-683X.2015.08.018 [2] 徐 伟,吴泽彬,刘建新,等. 高铁接触网异物自动化智能检测方法[J]. 中国铁路,2019(10):39-44. [3] Li F, Xin J B, Chen T, et al. An automatic detection method of bird's nest on transmission line tower based on faster_RCNN[J]. IEEE Access, 2020(8): 164214-164221. DOI: 10.1109/ACCESS.2020.3022419
[4] 王纪武,罗海保,鱼鹏飞,等. 基于Faster R-CNN的铁路接触网鸟巢检测[J]. 铁道机车车辆,2020,40(2):78-81,108. DOI: 10.3969/j.issn.1008-7842.2020.02.17 [5] Ji S C, Xiao Y M, Zheng J, et al. Bird’s nest detection algorithm for transmission line towers based on deep learning[C]//Proceedings of 2022 4th International Academic Exchange Conference on Science and Technology Innovation, 9-11 December, 2022, Guangzhou, China. New York: IEEE, 2022.
[6] 王晓红,杜云飞,刘 畅. 基于YOLOV5s的接触网鸟巢异物检测[J]. 长江信息通信,2023,36(6):51-54. DOI: 10.3969/j.issn.1673-1131.2023.06.015 [7] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10.1109/TPAMI.2016.2577031
[8] He K M, Gkioxari G, Dollár P, et al. Mask R-CNN[C]//Proceedings of 2017 IEEE International Conference on Computer Vision, 22-29 October, 2017, Venice, Italy. New York: IEEE, 2017. 2961-2969.
[9] Goyal P, Piotr D, Girshick R, et al. Accurate, large minibatch SGD:Training ImageNet in 1 Hour[J]. arXiv:1706.02677v1, 2017.
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数: 46
- HTML全文浏览量: 10
- PDF下载量: 21
- 被引次数: 2
