基于深度学习的铁路客站视频融合智能监控系统的图像处理优化技术研究

何志超; 范余华; 秦川; 沈斌涛

doi:10.3969/j.issn.1005-8451.2022.07.15

基于深度学习的铁路客站视频融合智能监控系统的图像处理优化技术研究

1.
中国铁路上海局集团有限公司　南京铁路枢纽工程建设指挥部，南京　210000
2.
上海理工大学　光电信息与计算机工程学院，上海　200020

基金项目: 中国铁路上海局集团有限公司科研开发课题项目（2021148）

详细信息

作者简介:
何志超，正高级工程师

范余华，高级工程师

中图分类号: U293.2 : TP39
计量
- 文章访问数: 177
- HTML全文浏览量: 60
- PDF下载量: 56
出版历程
- 收稿日期: 2022-02-09
- 网络出版日期: 2022-08-12
- 刊出日期: 2022-08-07

Image processing optimization technology of railway passenger station video fusion intelligent monitoring system based on deep learning

1.
Construction Headquarters of Nanjing Railway Hub Project, China Railway Shanghai Group Co. Ltd., Nanjing　210000, China
2.
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai　200020, China

摘要

摘要: 针对复杂铁路客站现场全景视频高维特征缺乏、融合匹配不准确等问题，提出一种基于深度学习的铁路客站视频融合智能监控系统的图像处理优化技术。文章通过尺度不变特征变换算法检测出图像关键点，利用卷积神经网络进行高维特征提取，对错配点使用随机抽样一致性算法进行剔除，并对虚影问题进行了优化以获得更好的细节效果。提出的图像处理优化技术已应用于连云港—镇江高速铁路扬州东站。应用结果表明，该技术能有效防止图片失真，获得更好的拼接效果。
- 深度学习 /
- 铁路客站 /
- 视频融合 /
- 特征匹配 /
- 图像处理
Abstract: In view of the lack of high-dimensional features and inaccurate fusion and matching of panoramic video of complex railway passenger station, this paper proposed an image processing optimization technology of railway passenger station video fusion intelligent monitoring system based on deep learning. In this paper, scale invariant feature transformation algorithm was used to detect the key points of the image, convolution neural network was used to extract the high-dimensional features, random sampling consistency algorithm was used to eliminate the mismatch points, and the phantom problem was optimized to obtain better details effect. The proposed image processing optimization technology has been applied to Yangzhou East Station of Lianyungang-Zhenjiang high-speed railway. The application results show that this technology can effectively prevent image distortion and obtain better mosaic effect.
- deep learning /
- railway passenger station /
- video fusion /
- feature matching /
- image processing

HTML全文

图 1 神经网络结构

下载: 全尺寸图片幻灯片

图 2 SIFT特征点确定过程

下载: 全尺寸图片幻灯片

图 3 整体匹配算法流程

下载: 全尺寸图片幻灯片

图 4 RANSAC算法流程

下载: 全尺寸图片幻灯片

图 5 虚影去除算法流程

下载: 全尺寸图片幻灯片

图 6 待匹配图像

下载: 全尺寸图片幻灯片

图 7 传统方案拼接图像

下载: 全尺寸图片幻灯片

图 8 本文方案拼接图像

下载: 全尺寸图片幻灯片

参考文献(19)

[1]	王娟,师军,吴宪祥. 图像拼接技术综述 [J]. 计算机应用研究,2008,25(7):1940-1947. DOI: 10.3969/j.issn.1001-3695.2008.07.005
[2]	王跃军,易力. 基于三维场景的视频融合技术在电厂智能巡视系统中应用的研究 [J]. 中国设备工程,2021(3):123-125.
[3]	Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]//2011 International conference on computer vision. Barcelona, Spain : IEEE, 2011: 2564-2571.
[4]	Liu Z, Li Z, Zhang J, et al. Euclidean and Hamming Embedding for Image Patch Description with Convolutional Networks[C]// IEEE Conference on Computer Vision and Pattern Recognition 2016 (CVPR 2016). Las Vegas, NV, USA: IEEE, 2016.
[5]	Simo-Serra E, Trulls E, Ferraz L, et al. Discriminative learning of Deep Convolutional Feature Point Descriptors[C]// IEEE International Conference on Computer Vision. Nanchang, China: IEEE, 2016.
[6]	王红尧,吴佳奇,林松,等. 矿井多视角图像拼接方法研究 [J]. 工矿自动化,2021,47(10):27-32.
[7]	Zagoruyko S, Komodakis N. Learning to Compare Image Patches via Convolutional Neural Networks[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015.
[8]	Han X, Leung T, Jia Y, et al. MatchNet: Unifying feature and metric learning for patch-based matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015.
[9]	Balntas V, Johns E, Tang L, et al. PN-Net: Conjoined Triple Deep Network for Learning Local Image Descriptors [J]. arXivpreprint arxiv:1601.05030, 2016.
[10]	Brown M, Hua G, Winder S. Discriminative learning of local image descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 43-57. DOI: 10.1109/TPAMI.2010.54
[11]	Kumar B G, Carneiro G, Reid I. Learning Local Image Descriptors with Deep Siamese and Triplet Convolutional Networks by Minimising Global Loss Functions[C]// IEEE Conference on Computer Vision and Pattern Recognition 2016 (CVPR 2016). Las Vegas, NV, USA: IEEE, 2016.
[12]	于俊清,吴泽斌,吴飞,等. 多媒体工程:2016——图像检索研究进展与发展趋势 [J]. 中国图象图形学报,2017,22(11):1467-1485. DOI: 10.11834/jig.170503
[13]	Zhang G, Zhi Z, Zhang S, et al. SIFT Matching with CNN Evidences for Particular Object Retrieval [J]. Neurocomputing, 2017, 238(238): 399-409.
[14]	魏利胜, 周圣文. 新型优化SIFT的图像快速配准方法研究[J]. 计算机工程与应用, 2015, 51（5）: 167-171.
[15]	Dubey S R, Chakraborty S. Average biased ReLU based CNN descriptor for improved face retrieval [J]. Multimedia Tools and Applications, 2021, 80(15): 23181-23206. DOI: 10.1007/s11042-020-10269-x
[16]	赵迪迪,李加慧,谭奋利,等. 基于分布度量和显著性信息的遥感图像拼接 [J]. 激光与光电子学进展,2022,59(4):121-129.
[17]	俞　娜. 多摄像头协同的运动目标跟踪方法研究[D]. 桂林: 桂林理工大学, 2021.
[18]	刘震. 一种基于深度学习的多曝光高动态范围成像方法 [J]. 现代计算机,2021(6):91-94.
[19]	李佳骏. 基于局部特征的图像与点云配准研究[D]. 大连: 大连理工大学, 2021.

施引文献(23)

期刊类型引用(10)

1.	蔡伯根，李智宇，王剑，刘丹，姜维，赵珈琪，王啸阳，刘江，陆德彪. 面向铁路巡检的低空无人机智能感知与精密定位研究. 铁路通信信号工程技术. 2025(01): 1-12 . 百度学术
2.	李浩，牛洪蛟，李夏洋，袁小芳. 基于无人机协同编队控制的铁路智能巡检方法. 铁路通信信号工程技术. 2025(02): 11-17+70 . 百度学术
3.	李斌，张俊武，王爽. 铁路防洪防灾无人机智能巡检关键技术应用研究. 铁路通信信号工程技术. 2025(03): 1-8 . 百度学术
4.	李飞，李达明，蒙笑阳，全超，吴昊. 基于编组站巡检无人机的自适应安全挂载平台. 铁路通信信号工程技术. 2025(03): 9-14+28 . 百度学术
5.	梅东升，薛长站，张宇博，梁国杰，付达，孟超. 基于LiDAR与可见光融合的自动风电叶片巡检方法. 自动化应用. 2024(03): 102-105 . 百度学术
6.	陈昱行，高至飞，胡朝鹏，宋国策. 基于无人机多模态数据的铁路防洪隐患排查系统研发. 铁道勘察. 2024(05): 156-162 . 百度学术
7.	杨振伟，陈炳海，张淏凌，郭靖，陈诚. 面向电力设备检修的多无人机协同飞行路径规划算法. 微型电脑应用. 2023(01): 88-91 . 百度学术
8.	杜伦平，朱天赐，刘期柏，梁力东，王泉东，傅勤毅，刘斯斯. 基于单目视觉三维重建的货运列车超限检测方法研究. 铁道科学与工程学报. 2021(04): 1009-1016 . 百度学术
9.	韩宜君. 青藏铁路安多段护路技防系统方案研究. 工程建设与设计. 2020(04): 74-76 . 百度学术
10.	武岳龙，钟凡，高月. 面向铁路巡检的无人机飞行路径规划方法. 数码世界. 2020(07): 42 . 百度学术