Temperature detection system for key components of metro running gear equipment based on deep learning
-
摘要: 地铁列车走行部的良好运行状态是列车安全运行的保障。针对其关键部件发热故障的检测问题，研发了基于深度学习的地铁列车走行部关键部件温度检测系统。该系统采用红外热像仪获取走行部热成像图，引入注意力机制模块和CIoU损失函数，改进YOLOv5目标检测模型，识别、定位出关键部件；对关键部件图像进行灰度化处理和自适应阈值分割等操作，提取温度。基于实验室的Pytorch深度学习平台，在南京地铁运营公司马群车辆段对所研发的系统进行实验。实验结果表明，该系统可以获取走行部热成像图，准确定位关键部件并提取其温度信息。Abstract: The good operation status of the running gear of metro trains is a guarantee of safe train operation. In order to detect the heating faults of key components, this paper developed a temperature detection system for key components of metro running gear equipment based on deep learning. The system used an infrared thermal imager to obtain the thermal image of the running gear, introduced the attention mechanism module and CIoU Loss function, improved the YOLOv5 target detection model, and identifies and locates the key components, performed grayscale processing and adaptive threshold segmentation on key component images to extract temperature. Based on the laboratory's Pytorch deep learning platform, the system developed was tested in Maqun Depot of Nanjing Metro Operation Company. The experimental results show that the system can obtain thermal imaging images of the running gear, accurately locate key components, and extract their temperature information.
-
Keywords:
- metro train /
- running gear /
- infrared thermogram /
- target recognition /
- temperature extraction.
-
随着经济的高速发展，城市人口的集聚，地面交通设施的运输压力不断增大。目前，很多城市都在加快建设地铁、城市轨道（简称：城轨）、有轨电车等公共交通设施，使城市人口出行更加便捷[1-2]。为了确保轨道交通运输的安全，保障列车安全运行是关键，而列车走行部的检修工作对列车安全运行起着至关重要的作用[3-5]。
列车走行部关键部件温度检测的方法较多，邬春晖等人[6]设计的城轨列车走行部地面检测系统，使用红外温度探测器获取轴箱、电机等部件温度并进行异常判断；潘娟娟[7]在红外测温原理与技术的基础上，着重研究了影响红外测温仪测温精度的主要因素，并对红外测温仪的标定技术进行了深入研究；谢千野[8]结合ZigBee无线通信、计算机和传感器等技术，使用接触式温度传感器设计了地铁车轴温度的在线监测系统；刘志宏[9]采用非线性状态估计（NSET，Nonlinear State Estimate Technology）方法进行理论计算，建立基于NSET的地铁列车轴承温度预测模型，对走行部轴箱进行故障诊断；张冠男[10]使用热像仪获取走行部热成像图，并使用YOLOv3深度学习模型对车底关键红外目标进行动态识别及温度监测；F.Zhou等人[11]基于YOLOv3目标检测模型提出了一种红外图像识别方法，其通过红外图像增强和YOLO边框聚类的方式[12-13]，提高了目标检测框精度，有效识别了不同场景下的红外故障目标[14-15]。基于上述研究，本文研发了基于深度学习的列车走行部关键部件温度检测系统（简称：温度检测系统）；通过实验，验证了该系统的可行性。
1 系统设计
1.1 系统组成
温度检测系统组成如图1所示，包括客户端访问模块、系统控制模块、现场采集模块。其中，现场采集模块负责采集列车红外热成像图，并获取列车车号信息；系统控制模块负责控制现场采集模块的采集数据的启/停，同时，将现场采集模块传输的数据进行处理，存入服务器中；客户端访问模块从服务器中读取系统最终处理结果，并在Web端向用户进行展示。
1.2 现场采集模块
现场采集模块作为温度检测系统的关键部分，其部件安装位置如图2所示。该模块主要包含4组红外热像仪采集箱L1、L2、L3、L4，1组车号采集箱R1，以及4组车轮轴位传感器G1、G2、G3、G4。其中，L1、L2安装在轨道外侧负责采集列车两侧轴箱热成像图；L3、L4安装在轨道内测负责采集列车走行部热成像图；R1安装在轨道外侧斜向采集列车车号；车轮轴位传感器均安装在轨道内侧，G1负责检测列车是否到达检测区域（获取来车信号），G4负责检测列车是否离开检测区域（获取离车信号），G2负责获取车号采集箱的开始采集信号，G3则负责获取4组红外热像仪采集箱的采集信号。
1.3 系统工作流程
当列车进入检测区域，车轮轴位传感器获取到来车信号，将其发送给可编程逻辑控制器（PLC，Programmable Logic Controller），PLC将采集信号发送给红外热像仪采集箱和车号采集箱，温度检测系统开始采集走行部热成像图；当列车驶离采集区域后温度检测系统关闭采集，同时，对采集到的热成像图进行处理，识别图中定位关键部件并提取温度信息，保存至数据库；在Web端显示结果。温度检测系统工作流程如图3所示。
2 关键技术
本文采用改进的YOLOv5目标检测模型，对获取到的列车走行部红外热成像图中的关键部件进行识别定位。
2.1 YOLOv5模型
YOLOv5目标检测模型参数较小，其网络结构主要由4部分组成，分别是输入（Input）层、主干（Backbone）层、颈部（Neck）层和头部（Head）层，如图4所示。
Input层主要包含Mosaic数据增强及自适应锚框计算，以增强其模型训练精度；Backbone层为一个特征提取网络，用于提取普通的特征图，主要由卷积 + 批归一化+激活函数（CBH，Convolutional + BatchNormalize + Hardswish）、Focus、跨阶段部分连接（CSP，Cross Stage Partial Connections）、空间金字塔池化（SPP，Spatial Pyramid Pooling）等模块组成；Neck层采用特征金字塔网络（FPN，Feature Pyramid Network）结构和像素聚合网络（PAN，Pixel Aggregation Network）结构，通过上采样和下采样等操作，生成3种不同尺寸的特征图；Head层包含Bounding box损失函数和非极大值抑制，负责预测和输出，将提取到的特征进行融合和压缩后，分类、检测并作出对应的预测。
2.2 改进的YOLOv5模型
由于原始检测模型对于温度检测系统走行部热图中的部件识别准确率较低，本文在Backbone层引入了一种轻量级卷积注意力机制模块（CBAM，Convolutional Block Attention Module），改进后的YOLOv5网络结构如图5所示。
2.3 CBAM
CBAM结构如图6所示。
CBAM是一种结合了空间和通道的注意力机制模块，用于将输入的特征图分别在通道和空间两个维度进行推断，最终输出特征更加细化的特征图。其具体操作主要分为两个步骤。
（1）执行通道注意操作。通过最大池化操作和平均池化操作，处理输入深度为1 024像素，宽度和高度均为20像素（1 024×20×20）的特征图，输出两个1 024×1×1的特征图，这两个特征图分别由第1完全连接层压缩，将信道数量压缩到64，从而降低计算成本；通过第2完全连接层执行扩展操作，输出两个1 024×1×1的特征图，将这两个特征图的特征信息相加，并通过 sigmoid 激活函数后，与初始输入相乘，获得1 024×20×20且具有恒定维度的输出特征图。
（2）执行空间注意操作。将通道注意操作获得的1 024×20×20的特征图经过最大池化操作和平均池化操作，获取两个1×20×10的特征图，通过信道级联操作输出2×20×12的特征图。将特征图与初始输入相乘，输出1 024×20×20的特征图，并将该特征图添加至YOLOv5模型中Neck的输入端。
2.4 CIoU边界损失函数
使用CIoU作为边界损失函数，CIoU的优点是它不仅关注预测框和地面真相之间的重叠区域，还关注其他非重叠区域，因此，它可以更好地反映预测框与地面真相之间重叠的程度。
CIoU损失计算公式为
$$ CIoU = 1 - IoU + \frac{{{\rho ^2}(b,{b^{gt}})}}{{{c^2}}} + \alpha \nu $$ (1) $$ \alpha = \frac{v}{{(1 - IoU) + v}} $$ (2) $$ v = \frac{4}{{{{\text π} ^2}}}{\left(\arctan \frac{{{w^{gt}}}}{{{h^{gt}}}} - \arctan \frac{w}{h}\right)^2} $$ (3) 式中，
$ {\rho ^2}(b,{b^{gt}}) $ 为预测框和地面真相之间的欧几里得距离；c为包含地面真相和预测框的最小框的最短对角线长度；$ \alpha $ 为权重；$ \nu $ 为两个边界框纵横比之间的相似度；$ {w^{gt}} $ 和$ {h^{gt}} $ 分别为地面真相的宽度和高度；$ w $ 和$ h $ 分别为预测框的宽度和高度；IoU 为预测柜与地面真相的重叠比率；$ CIoU $ 表示完全边界回归损失。3 关键部件温度提取
在使用改进的YOLOv5目标检测模型识别定位关键部件后，需要对识别定位出的部件局域热图进行灰度处理，通过自适应阈值分割出完整部件，并提取温度值信息。温度提取流程如图7所示。
3.1 预处理
目标检测模型识别定位出原始红外热成像图中的关键部件后，需要对目标部件进行温度提取。温度检测系统在采集热成像图时，会同时获取图像中每个像素对应的温度值并保存。因此，要想获取部件的完整温度信息，仅需要获取部件在对应图像中的具体区域。
图像中部件与背景温度差异明显，可以采用简单的阈值分割提取区域，步骤如下。
（1）对原始数据进行灰度化处理和噪声去除。灰度化处理主要是将原始的伪彩色热成像图转化为灰度值为0～255的单通道灰度图像。即将原始的彩色图像转为灰度图像，转换公式如式（4）所示，式中，Gray为像素灰度值，R、G、B分别为彩色图像红绿蓝3个通道的像素值。
$$ Gray = 0.299R + 0.587G + 0.114B $$ (4) （2）采用高斯滤波，对图像中的像素值进行加权平均，以达到降低原始图像中的噪声影响、提高图像信噪比的效果，方便后续的分割。
3.2 部件温度提取
采用自适应阈值分割模型，将部件主要区域分割出来，获得目标部件轮廓。
对于在某个测温范围下采集到的红外热图，图像上所有像素点的灰度值与实际温度值之间是呈线性关系的，根据灰度值与温度值的线性关系，通过式（5）和式（6），可以计算出温度值T。式中，Gmax、Gmin为通过原始热成像图数据中的最大和最小灰度值的两个像素点灰度值，Tmax、Tmin为两像素点对应的温度值，α为温度系数。之后，即可在已知像素点灰度值的情况下计算出所有像素点对应的温度值。
$$ T=\alpha \left({G-G}_{{\rm{min}}}\right)+{T}_{{\rm{min}}} $$ (5) $$ \alpha ={(T}_{{\rm{max}}}-{T}_{{\rm{min}}})/({G}_{{\rm{max}}}-{G}_{{\rm{min}}}) $$ (6) 因此，结合目标部件轮廓信息即部件所包含的像素点范围，可以计算出部件每一个像素点对应的温度信息，根据温度信息获取部件的平均温度值和最高温度值。
4 实验与验证
温度检测系统在南京市地铁运营公司马群车辆段进行了实验。
4.1 实验平台搭建
本次实验基于实验室的Pytorch深度学习平台，平台硬件环境为Intel i7-7700处理器，GPU型号为INVID GeForce RTX 2080Ti，显卡容量为12 G。软件环境为Python 3.9，Windows 10操作系统。
4.2 实验数据
实验中使用的数据取自南京市地铁运营公司马群车辆段采集到的走行部不同部件的红外热成像图。其中，轴箱图1 000张，齿轮箱图1 000张，电机图1 000张。
4.3 实验结果
4.3.1 模型检测精度
根据搭建的硬件系统，对现场数据分别使用YOLOv5模型和融合注意力机制的改进的YOLOv5模型进行训练，其关键部件分别为轴箱、牵引电机和齿轮箱。
模型改进前、改进后的训练结果及对比如表1、表2和表3所示。表1为改进前的模型检测效果；表2为改进后模型检测效果；表3中，mAP@0.5:0.95表示在IOU阈值0.5～0.95范围内计算的平均精度值；改进后模型的P-R（Precision-Recall）曲线如图10所示。
表 1 改进前模型检测精度精度（Precision） 招回率（Recall） 平均精度（AP） 轴箱 0.951 0.962 0.952 牵引电机 0.949 0.950 0.953 齿轮箱 0.933 0.943 0.951 表 2 改进后模型检测精度精度（Precision） 招回率（Recall） 平均精度（AP） 轴箱 0.963 0.960 0.971 牵引电机 0.958 0.961 0.970 齿轮箱 0.969 0.954 0.954 表 3 模型改进前、后的训练结果对比模型 帧速率/FPS 平均精度均值（mAP） mAP@0.5:0.95 YOLOv5s 61.0 0.952 0.840 Improved YOLOv5s 64.5 0.965 0.857 由表1、表2可知，模型改进前，轴箱、牵引电机和齿轮箱检测的平均精度分别为0.952、0.953、0.951，改进后检测的平均精度分别为0.971、0.970、0.954。对比可知，电机精度提高1.9%，牵引电机精度提高1.7%，齿轮箱精度提高0.3%。
由表3可知，改进后，模型在3种部件的平均精度均值由0.952提高至0.965，同时，速度提高了3.5 FPS，由此可见，改进的模型检测效果有了明显的提高。由图10可知，改进的模型曲线分布与坐标轴围成的面积较大，代表改进的模型性能较高。
4.3.2 关键部件识别定位
改进前、改进后的YOLOv5检测模型对于原始图像中关键部件识别定位部分结果如图11所示。对比可知，模型改进后，走行部中轴箱、牵引电机、齿轮箱的 IoU（预测框与真实框的交集与并集的比值）分别达到了0.92、0.94、0.91，分别提升了0.07、0.05、0.05。由此可知，改进的模型加强了特征提取的能力，提高了对各类目标的检测精度。
4.3.3 关键部件温度提取
以牵引电机为例，对识别定位后的图像进行温度提取，其过程如图12所示。
（1）对原始图像进行灰度化处理后得到灰度图，如图12（b）所示，将彩色图片转为单通道图像；
（2）进行高斯滤波降噪和自适应阈值分割，如图12（c）和图12（d）所示，由图可见，进行降噪后图像质量有了提升，同时，分割模型也将电机轮廓分割出来；
（3）根据灰度图中像素的灰度值及轮廓图中电机包含的像素点位置计算电机的平均温度，结果如图13所示。根据与现场人工测温提供的温度值69.5℃相比，本文设计的温度检测系统温度误差在±1℃范围内，较精准地实现了温度提取。
5 结束语
本文设计了基于深度学习的列车走行部温度检测系统，并在南京市地铁运营公司马群车辆段进行实验。实验结果表明，该系统对走行部热成像图中关键部件的识别和温度提取均有较高的准确率。
由于本文设计的温度检测系统仅在车辆段进行了低速实验，若应用在地铁正线将会存在热像仪测温受列车行驶速度的影响、导致测温带来偏差的问题。因此，后续将着重研究热像仪测量高速列车时的温度修正问题，以确保测量准确性。
-
表 1 改进前模型检测精度
精度（Precision） 招回率（Recall） 平均精度（AP） 轴箱 0.951 0.962 0.952 牵引电机 0.949 0.950 0.953 齿轮箱 0.933 0.943 0.951 
下载: 导出CSV
表 2 改进后模型检测精度
精度（Precision） 招回率（Recall） 平均精度（AP） 轴箱 0.963 0.960 0.971 牵引电机 0.958 0.961 0.970 齿轮箱 0.969 0.954 0.954
下载: 导出CSV
表 3 模型改进前、后的训练结果对比
模型 帧速率/FPS 平均精度均值（mAP） mAP@0.5:0.95 YOLOv5s 61.0 0.952 0.840 Improved YOLOv5s 64.5 0.965 0.857
下载: 导出CSV
-
[1] 吴庆波. 城市轨道交通技术装备发展现状及发展趋势分析 [J]. 现代城市轨道交通,2020(9):26-29. [2] 吕晓俊,柳 宁,张 业. 速度120 km/h标准地铁列车气动阻力优化研究 [J]. 智慧轨道交通,2023,60(1):24-28. DOI: 10.3969/j.issn.2097-0366.2023.01.006 [3] 董 威,王云飞,张晓宁,等. 高速列车走行部监测系统全冗余技术方案研究 [J]. 控制与信息技术,2020(6):77-82. [4] 马庆杰,程 佳,王国庆. 城轨车载走行部故障检测系统研究与设计 [J]. 中国设备工程,2022(14):82-84. DOI: 10.3969/j.issn.1671-0711.2022.14.036 [5] 史晓磊,蒋 荟. 车辆运行品质安全监测系统报警车辆联网监控的研究及实现 [J]. 铁路计算机应用,2019,28(5):11-14. DOI: 10.3969/j.issn.1005-8451.2019.05.003 [6] 邬春晖,夏志成,高一凡,等. 城轨列车走行部地面检测系统研究与设计 [J]. 都市快轨交通,2021,34(4):69-74. DOI: 10.3969/j.issn.1672-6073.2021.04.011 [7] 潘娟娟. 基于红外测温的地铁列车轴温在线监测系统[D]. 南京: 南京理工大学, 2017. [8] 谢千野. 基于ZigBee的地铁列车轴温检测设计与实现[D]. 成都: 西南交通大学, 2017. [9] 刘志宏. 某型地铁列车轴温预测研究[D]. 兰州: 兰州交通大学, 2021. [10] 张冠男. 地铁车辆走行部温度目标可视化监测方法 [J]. 交通科技与管理,2021(29):4-5. [11] Zhou F R, Ma Y, Ma Y T, et al. Infrared image fault identification method based on YOLO target detection algorithm[M]. Barolli L, Amato F, Moscato, et al. Web, Artificial Intelligence and Network Applications. Cham: Springer, 2020: 461-470.
[12] 杨 尧. 基于计算机视觉的地铁列车关键部件缺陷检测算法研究[D]. 成都: 西南交通大学, 2021. [13] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition, 23-28 June, 2014, Columbus, OH, USA. New York, USA: IEEE, 2014: 580-587.
[14] Girshick R. Fast R-CNN[C]//Proceedings of 2015 IEEE International Conference on Computer Vision, 7-13, December 2015, Santiago, Chile. New York, USA: IEEE, 2015: 1440-1448.
[15] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 27-30 June, 2016, Las Vegas, NV, USA. New York, USA: IEEE, 2016: 779-788.
计量
- 文章访问数: 165
- HTML全文浏览量: 103
- PDF下载量: 46
