Vibration displacement measurement method for railway bridge support based on line feature tracking
-
摘要: 针对现有基于结构物表面纹理特征跟踪的支座振动位移测量算法易受光照、背景杂波、运动模糊等因素干扰的问题，提出一种基于线特征跟踪的铁路桥梁支座振动位移测量方法。利用大津法与连通体分析法获取感兴趣目标，并基于感兴趣目标确定线跟踪区域，提高支座位移计算效率；利用一种直线鲁棒检测算子，快速提取桥梁支座振动过程中线跟踪区域中的线目标坐标变化；采用一种多帧数据融合滤波器，对桥梁支座振动位移数据进行后处理，从而实现对桥梁支座振动位移的精准计算。将该测量方法应用于实际搭建的桥梁支座振动位移监测系统中，应用结果表明，该方法在测量精度上取得较好结果，满足桥梁结构健康监测需求。Abstract: Aiming at the problem that the existing support vibration displacement measurement algorithm, which is based on surface texture feature tracking of structures, easily disturbed by lighting, background clutter, motion blur and other factors, this paper proposed an accurate measurement method for railway bridge support vibration displacement based on line feature tracking. In order to improve the calculation efficiency of the support displacement, the paper obtained the target of interest by using Otsu method and continuum analysis method, and determined the line-tracking area based on the target of interest, enhanced the calculation efficiency of support displacement; used a linear robust detection operator to quickly extract the coordinate changes of the line-tracking area during the bridge support vibration; used the fusion filter to post-process the bridge support vibration displacement data and finally implement the accurate calculation of the bridge support vibration displacement. The measurement method was applied to the actual bridge support vibration displacement monitoring system. The application results show that the method achieves good results in measurement accuracy and meets the needs of bridge structure health monitoring.
-
桥梁支座是连接桥梁上部和下部结构的重要结构部件，为评估桥梁支座的性能，往往需要对其位移进行监测。目前，在工程中常用接触式位移计对支座位移进行监测。这种监测方式简单、直接，但在长期服役过程中，由于关键测量部件不断发生往复运动，易使传感器磨损。近年来，基于机器视觉的图像处理技术广泛应用于结构位移监测领域，并得到了国内外研究人员的广泛关注。杜鹏等人[1]提出一种无需在结构上布置靶点，即可从结构振动视频中获取结构表面密集特征点位移响应的灰度值匹配算法，该算法的测量结果与传统位移传感器实测结果误差在5%以内，但该方法受环境噪声的影响较为严重；崇爱新等人[2]提出了一种基于双目视觉技术的无缝线路钢轨纵向位移测量方法，该方法重点解决了复杂现场采集环境中编码特征点的精确检测与匹配问题，但是现场实验中钢轨纵向位移的测量精度仅为0.2 mm；除此以外，相关学者还提出了许多基于机器视觉的监测结构物位移的新方法[3-6]。由于桥梁支座位于梁体下方，周围空间狭小、背景环境复杂、光线较弱，上述先进的测量方法可以精准地对桥梁挠度、钢轨纵向位移等进行监测，但是无法直接应用到桥梁支座的位移监测中。为此，本文提出了一种基于线特征跟踪的铁路桥梁支座振动位移测量方法。
1 铁路桥梁支座振动位移测量概述
1.1 测量原理
本文利用目标跟踪技术，通过跟踪固定于支座上方桥体的靶标，获取靶标的位移变化，从而计算出铁路桥梁支座的振动位移。该原理主要包含3部分，感兴趣目标的自动获取、直线鲁棒检测算子、多帧数据融合滤波，如图1所示。
（1）利用大津阈值分割法和连通体分析法构建感兴趣目标自动获取方法，自动获取视频首帧图像中红色方形靶标的坐标信息，并结合靶标坐标信息确定线跟踪区域。
（2）利用直线鲁棒检测算子对各个线跟踪区域中的线段进行检测，并获取各帧图像中线段的位置信息。
（3）为消除光照、背景杂波及运动模糊对位移结果的影响，设计了一种多帧数据融合滤波器对振动位移数据进行后处理，并结合靶标实际长度和像素长度的比值，计算出支座振动位移。
1.2 布设方式
本文以双T简支梁桥为例建立了桥梁支座位移测量体系。将由红色和黑色磨砂有机玻璃制作的靶标测量标识固定在支座上方的桥体上，如图2（a）所示。为获取靶标的振动视频数据，需要在靶标前方的桥墩上固定一台摄像机，为保证摄像机拍摄到的靶标图像尽量在整个图像的中心，需要摄像机镜头面与方靶标面尽量平行，同时保证镜头中心轴线与靶标中心轴线尽量共线，如图2（b）所示。当有列车荷载作用在桥梁梁体时，该靶标会产生振动，通过对靶标的振动视频进行处理，可得到桥体在靶标平面内的位移。考虑到桥梁支座与其上方的桥体直接物理连接，因此，支座上方桥体的位移变化即是该桥梁支座的位移变化。
2 感兴趣目标自动获取
图2靶标中红色的方形区域是需要自动获取的感兴趣目标。本文利用大津阈值分割法和连通体分析法构建感兴趣目标自动获取方法，提取视频首帧图像的红通道图像，对其进行二值化、形态学操作等预处理，利用连通体分析法并结合已知的靶标相关信息自动获取靶标的坐标信息，根据靶标的坐标信息，自动确定方形靶标4个边缘的线跟踪区域。
2.1 图像预处理
在对感兴趣目标进行定位之前，先要对图像进行预处理。由于红色的感兴趣目标在红通道图像中的成像效果最为明显，所以将视频片段首帧图像的红通道图像作为后续算法的输入图像；再利用大津阈值分割法对图像进行二值化处理，初步实现感兴趣目标的分割；利用连通体分析搜索图中所有的连通体，并通过设置一个合适的尺寸因子对所有连通体进行形态学开运算，消除面积较小的连通体。
2.2 感兴趣目标定位
经过形态学开运算操作后，仍存在着一些无关的连通体区域，因此，为精准地对感兴趣目标进行定位，需要充分利用感兴趣目标的已知信息对无关的连通体区域进行过滤。已知感兴趣目标的相关信息包括：
（1）感兴趣目标为正方形，因此图像中感兴趣目标的长宽比值接近1。
（2）为保证位移监测精度，相机在安装过程中会进行观察和测量，确保感兴趣目标的边长在1000像素以上。利用上述信息对连通体区域进行筛选，可自动获取感兴趣目标的坐标信息。如图3所示，粗实线框中的区域即为获取到的感兴趣目标区域，4个阴影区域是4个线跟踪区域，从图3可以看出，各个线跟踪区域中仅包含一条感兴趣目标区域的边缘信息。
感兴趣目标左上角的坐标为(x0, y0)，沿x轴方向的边长为w像素，沿y轴方向的边长为h像素，本文用
$ s $ 表示两个边长的平均长度。$$ s = {{\left( {w + h} \right)} \mathord{\left/ {\vphantom {{\left( {w + h} \right)} 2}} \right. } 2} $$ (1) 为简化标定过程，利用已知边长的靶标进行标定，只需标定出相机的物面分辨率而不需对相机内外参数进行标定，同时保证了标定精度和稳定性。已知红色方形靶标的实际边长为
$ l $ mm，通过公式（2）求解出实际边长与像素边长的比例因子$ Sf $ （单位：mm/px）。$$ Sf = l/s $$ (2) 为准确且快速地跟踪感兴趣目标的坐标变化，本文在感兴趣目标定位的基础上，确定了4个线跟踪区域，其中线跟踪区域1和2用于监测支座水平方向的位移，线跟踪区域3和4用于监测竖直方向的位移。考虑支座在水平和竖直方向的实际位移最大量为
$ d $ mm，利用公式（1）和（2）计算线跟踪区域短边的长度为p（单位：px）。$$ p = {d \mathord{\left/ {\vphantom {d {Sf}}} \right. } {Sf}} $$ (3) 线跟踪区域长边的长度
$ lb $ （单位：px），可通过公式（4）确定。$$ lb = s - 2p $$ (4) 3 直线鲁棒检测算子
在确定感兴趣目标区域4个边缘的线跟踪区域之后，利用线段检测算法对线跟踪区域中的线段进行检测，获取线段的位置信息，从而获取支座的振动位移数据。
3.1 直线线段检测
Hough变换[7]是直线提取的常用算法，但其算法复杂度较高，且没有结合方向信息，导致误检率较高[8]。线段检测（LSD，Line Segment Detector）算法是由Rafael Grompone等人[9]于2010年提出的一种线段检测算法，该算法能结合像素的梯度大小和方向信息准确地提取直线，并能在NFA（Number of False Alarms）的约束下控制虚假直线，无需过多的参数设置。同时，该算法利用Helmholtz原理来判断直线，从而得到较好的线段检测结果。因此本文利用LSD算法对线跟踪区域中的线段进行检测。
如图4所示，每个线跟踪区域内仅包含1条感兴趣区域的边缘线。本文利用LSD算法提取线跟踪区域内的线段信息，主要包括当前区域内检测到的线段个数及每个线段的端点坐标等。
但直接利用LSD线段提取的结果来描述靶标边缘仍存在着一些问题，如图4（c）所示，非边缘区域也检测出了一些短线段，这些短线段的存在会影响到边缘位置的确定。因此要对LSD检测结果的有效性进行判断，从n条线段中找出能描述靶标边缘的线段。
3.2 线检测有效性分析模型
考虑光照、背景杂波、运动模糊等干扰，通过LSD线检测可能检测不到有效的线段特征。为对检测结果的有效性进行准确判断，本文设计了一种线检测结果有效性分析模型。
（1）假设在线跟踪区域内检测到了n条线段，第i条线段的端点坐标分别为(xi1, yi1)和(xi2，yi2)；
（2）计算线跟踪区域内检测出的各条线段的统计特征，线段长
$ l{s_i} $ 、线段长度比例$ l{r_i} $ 、线段截距bi。其中，线段长$ l{s_i} = $ $ \sqrt {{{\left( {{x_{i1}} - {x_{i2}}} \right)}^2} + {{\left( {{y_{i1}} - {y_{i2}}} \right)}^2}} $ ，线段长度比例$l{r_i} = l{s_i}/\displaystyle\sum_{i=1}^{n} {l{s_i}}$ ；（3）利用线跟踪区域内线段的统计特征对LSD线检测结果的有效性进行分析，具体流程如图5所示。
通过上述处理流程可有效标识出各个线跟踪区域内线段检测结果的有效性，有效检测结果所在的帧标记为1，无效检测结果所在的帧标记为0。
4 多帧数据融合滤波器
为过滤无效的检测结果，本文采用一种多帧数据融合滤波器，包括邻近5帧线跟踪区域内滤波和水平（竖直）方向内目标运动滤波。
4.1 邻近5帧线跟踪区域内滤波
在连续处理5帧图像数据后，可以得到邻近5帧的边线截距序列和对应的标识序列（简称：序列组）；按照先进先出的更新规则，新一帧的图像处理结果会按顺序进入序列组，同时，序列组中最早一帧的图像处理结果将被移出序列组；在更新序列组之前，需要先判断该帧图像检测得到的线段截距对应的标识是否为0，若为0，则计算更新前的序列组中邻近5帧的边线截距的平均值作为当前帧的线段截距值，若为1，可直接按先进先出的规则进行序列组更新。
经过上述操作，可利用方形靶标最邻近的目标状态，填补LSD未有效检测到的边线截距值。假设所有帧图像检测得到的线段截距序列值为(b1, b2, ···, bn)，将所有序列值都减去第1个数值b1，可得该边线对应的像素位移变化序列(bo1, bo2, ···, bon)。
4.2 水平（竖直）方向内目标运动滤波
处理线跟踪区域1和区域2可同时测量待测目标的水平位移变化，而处理线跟踪区域3和区域4可同时测量待测目标的竖直位移变化。在完成邻近5帧线跟踪区域内滤波后，考虑按公式（5）融合线跟踪区域1和区域2的边线位移变化测量结果。
$$ \qquad\qquad\qquad\qquad\left\{\begin{array}{l} bo=(b{o}^{\prime }+b{o^{\prime\prime }})/2\;\;\;\; (图像1和图像2的截距标识均为1或0)\\ bo=b{o}^{\prime }\;\;\;\; (图像1的截距标识为1，图像2的截距标识为0)\\ bo=b{o^{\prime\prime }}\;\;\;\;(图像1的截距标识为0，图像2的截距标识为1)\end{array} \right.$$ (5) 其中，
$ bo' $ 、$ bo'' $ 分别表示线跟踪区域1和区域2中边线的位移。类似地，可按照同样的规则融合线跟踪区域3和区域4的边线位移变化测量结果。因此，可计算出每1帧图像中方靶标在水平和竖直方向的像素位移变化测量结果。设水平方向的像素位移变化测量结果为(bx1, bx2, ···, bxn)，竖直方向的像素位移变化测量结果为(by1, by2, ···, byn)。将比例因子
$ Sf $ 分别乘以方靶标在水平和竖直方向的像素位移变化测量值，即可得到方靶标在水平和竖直方向的实际位移变化值。5 实验应用
5.1 现场安装和预处理
将本文方法应用到实际场景中，对桥梁支座的位移进行了长时间的监测工作，来验证其有效性和准确性。图6（a）中展示的是安装在现场的监控摄像机和靶标，摄像机的分辨率为3072×2 048像素，视频采集帧率为20 f/s，另外，现场还部署一台工控机，利用该工控机对支座振动视频进行处理。
以某个实际监测点为例，说明本文所提出方法的具体处理流程：（1）对采集的支座振动视频片段进行分帧处理，得到视频帧序列，图6（b）为支座振动视频片段中的首帧图像；（2）利用大津阈值分割法对首帧图像的红通道图像进行二值化处理，处理结果如图6（c）所示；（3）由于二值化结果中存在许多面积很小的连通体区域，因此，需要利用形态学开运算对二值化后的图像进行处理，去除面积较小的连通体，对比图6（d）和图6（c）可以看出，开运算操作有效地去除了面积较小的连通体。
5.2 感兴趣目标获取结果
利用连通体分析搜索图中所有的连通体，图7（a）虚线框中标注的区域均为连通体，需要从这些连通体中筛选出感兴趣区域。由于已知靶标的长宽比、面积等，可利用这些信息对连通体区域进行筛选，从而确定感兴趣区域的坐标信息，得到图7（b）中感兴趣区域左上角端点的坐标为(1277，355)，边长分别为1082、1080像素。红色方形靶标的实际边长为60 mm，由公式（1）和公式（2）可计算出比例因子Sf ≈0.056 mm/px。
根据现场环境中支座的实际位移变化情况，本文采用的水平和竖直最大位移量为8 mm，确定靶标4个线跟踪区域，如图7（c）所示。
5.3 位移测量
对4个线跟踪区域的靶标边缘分别进行LSD线检测，得到各个线跟踪区域中靶标的像素位移数据，并将像素位移结果与比例因子
$ Sf $ 相乘，得到各个线跟踪区域中靶标的位移数据，其位移曲线如图8所示。图8（a）中的两条位移曲线和图8（b）中的两条位移曲线的变化趋势基本一致，经过计算，两组位移结果的皮尔逊相关系数均在0.95以上，说明两组位移结果分别呈现极强的正相关。再利用多帧数据融合滤波器分别将线跟踪区域1和区域2、线跟踪区域3和区域4的结果进行融合，从而得到桥梁支座实际的位移时程曲线，如图9所示。
从图9可以看出，在列车某次通行的过程中，该桥梁支座的水平位移约为0.9 mm，竖向位移约为0.08 mm，且该位移曲线变化趋势较为明显，可反映出列车通行过程中的完整位移。
6 结束语
本文提出了一种基于线特征跟踪的铁路桥梁支座位移监测方法，该方法利用大津法和连通体分析法从支座振动视频的首帧图像中自动获取感兴趣目标区域，并基于感兴趣区域确定线跟踪区域；利用线检测算法对各帧图像中线跟踪区域进行线检测，通过统计各帧图像中线段的位置信息，计算出支座的振动位移数据；利用多帧数据融合滤波器对桥梁支座振动位移数据进行后处理，得到列车通行时支座的时程曲线。为验证该方法的有效性，本文将其应用到实际场景中，并对桥梁支座的位移进行了长时间的监测工作。实验结果表明，该方法可有效监测靶标平面内两个垂直方向的位移，且测量精度高、简单易行，有效弥补了现有的基于结构物表面纹理特征跟踪的支座振动位移测量算法容易受光照、背景杂波、运动模糊等因素干扰的缺点，在非接触位移测量领域具有广阔的应有前景。
-
[1] 杜 鹏,邵 帅,余忠儒,等. 桥梁全息性态特征提取方法试验研究 [J]. 科学技术与工程,2020,20(25):10459-10465. DOI: 10.3969/j.issn.1671-1815.2020.25.049 [2] 崇爱新,尹 辉,刘艳婷,等. 基于双目视觉的无缝线路钢轨纵向位移测量方法研究 [J]. 仪器仪表学报,2019,40(11):82-89. [3] 涂 伟,李清泉,高文武,等. 基于机器视觉的桥梁挠度实时精密测量方法 [J]. 测绘地理信息,2020,45(6):80-87. [4] Tung Khuc, F. Necati Catbas. Completely contactless structural health monitoring of real‐life structures using cameras and computer vision[J]. Structural Control and Health Monitoring, 2017, 24(1): 1-17.
[5] Rolands Kromanis, Prakash Kripakaran. A multiple camera position approach for accurate displacement measurement using computer vision [J]. Journal of Civil Structural Health Monitoring, 2021, 11(3): 661-678. DOI: 10.1007/s13349-021-00473-0
[6] Vicente Miguel A, Gonzalez Dorys C, Minguez Jesus, Schumacher Thomas. A Novel Laser and Video-Based Displacement Transducer to Monitor Bridge Deflections. [J]. Sensors, 2018, 18(4): 970. DOI: 10.3390/s18040970
[7] DUDA R O, HART P E. Use of the Hough transform to detect lines and curves in pictures [J]. Communications of the ACM, 1972, 15(1): 11-15. DOI: 10.1145/361237.361242
[8] 汪 林,王燕午,王 琳,等. 基于无人机的航空影像电力线提取方法的研究 [J]. 城市勘测,2013(3):92-95. DOI: 10.3969/j.issn.1672-8262.2013.03.023 [9] VON GIOI R G, JAKUBOWICZ J, MOREL J M, et al. LSD: A Fast Line Segment Detector with a False Detection Control [J]. IEEE transactions on pattern analysis and machine intelligence, 2010, 32(4): 722-732. DOI: 10.1109/TPAMI.2008.300
-
期刊类型引用(1)
1. 方鑫，刘通，程亚萍，孙宇铎，王菲儿. 基于GA-岭回归分析的机车车轮踏面磨耗量预测算法研究. 机车电传动. 2023(06): 71-78 . 
百度学术
其他类型引用(1)
下载:
计量
- 文章访问数: 140
- HTML全文浏览量: 76
- PDF下载量: 28
- 被引次数: 2
