高速铁路道岔异构数据在Hbase上的云存储方案

张志哲; 徐田华; 李波

高速铁路道岔异构数据在Hbase上的云存储方案

1.
北京交通大学轨道交通控制与安全国家重点实验室,北京 100044;
2.
中国中铁电气化局集团有限公司智能交通技术分公司,北京 100161

基金项目: 北京市教委项目（ I17H100010）；铁路总公司重点资助项目（2016X001-A) ；北京市自然科学基金项目（L161008）；轨道交通控制与安全国家重点实验室自主研究课题（RCS2016ZT010)

详细信息

作者简介:
张志哲，在读硕士研究生；徐田华，教授。

中图分类号: U216.42:TP39
计量
- 文章访问数: 92
- HTML全文浏览量: 7
- PDF下载量: 34
出版历程
- 收稿日期: 2018-04-26
- 刊出日期: 2020-08-03

高速铁路道岔异构数据在Hbase上的云存储方案

1.
State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University, Beijing 100044, China;
2.
Intelligent Transportation Technology Branch, China Railway Electrification Engineering Group Co. Ltd.,Beijing 100161, China

摘要

摘要:
实现健康预测管理（PHM）可以提高信号设备的运行安全性、系统可靠性和可维修性，道岔设备的数据对其PHM的研究有重要意义。目前，高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题，结合道岔监控数据以及道岔缺口监测图像等异构数据，引入大数据技术中的Hbase非结构化数据存储理念，提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题，提出基于MapReduce的优化图像分块存储算法，实现高速铁路道岔异构数据的Hbase云存储，在实验室环境搭建平台对方案进行验证。结果表明：从MySQL到Hbase迁移10 GB历史数据约为15 min，在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法，存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。
- 高速铁路 /
- 道岔异构数据 /
- Hbase /
- 云存储 /
- MapReduce /
- 图像分块算法 /
- 健康预测管理
Abstract:
实现健康预测管理（PHM）可以提高信号设备的运行安全性、系统可靠性和可维修性，道岔设备的数据对其PHM的研究有重要意义。目前，高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题，结合道岔监控数据以及道岔缺口监测图像等异构数据，引入大数据技术中的Hbase非结构化数据存储理念，提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题，提出基于MapReduce的优化图像分块存储算法，实现高速铁路道岔异构数据的Hbase云存储，在实验室环境搭建平台对方案进行验证。结果表明：从MySQL到Hbase迁移10 GB历史数据约为15 min，在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法，存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。
- high-speed railway /
- heterogeneous data of turnout /
- Hbase /
- cloud storage /
- MapReduce /
- image segmentation algorithm /
- Prognostics Health Management(PHM)

HTML全文

参考文献(14)

[1]	陈建译. 基于故障预测与健康管理的高铁信号设备维护技术研究[J]. 中国铁路，2015（3）：16-20.
[2]	Xu B, Kumar S A. Big Data Analytics Framework for System Health Monitoring[C]// IEEE International Congress on Big Data. IEEE, 2015: 401-408.
[3]	刘志，李磊. 美国故障预测和健康管理技术的军品应用与发展研究[J]. 飞航导弹， 2016（9）：90-94.
[4]	Wang L,Qian Y,Li Y,et al. Research on CBM information system architecture based on multi-dimensional operation and maintenance data[J]. IEEE International Conference on Prognostics and Health Management.2017:167-172.
[5]	铁路职工岗位培训教材编审委员会. 普速铁路信号维护规则技术标准：铁总运[2015]238 号[S]. 北京：中国铁道出版社，2015.
[6]	王伟，廖正宇，张辉，等. 基于大数据的铁路信号系统数据存储与分析系统设计与实现[J]. 信息网络安全， 2017（1）：29-37.
[7]	陆婷，房俊，乔彦克. 基于HBase 的交通流数据实时存储系统[J]. 计算机应用，2015， 35（1）：103-107.
[8]	Gao F, Yue P, Wu Z, et al. Geospatial data storage based on HBase and MapReduce[C]// International Conference on Agro-Geoinformatics. 2017:1-4.
[9]	Sameer Wadkar, Madhu Siddalingaiah, Jason Venner. A thorough understanding of Hadoop[M]. Mechanical Industry Press, 2016.
[10]	Cao Z, Lin J, Wan C, et al. Hadoop-based Framework for Big Data Analysis of Synchronized Harmonics in Active Distribution Network[J]. Iet Generation Transmission & Distribution, 2017, 11(16):3930-3937.
[11]	Vohra D. Using Apache Sqoop[M]. Pro Docker, 2016.
[12]	朱晓丽，赵志刚. 一种基于Hbase 的海量图像数据存储技术[J]. 信息系统工程，2013（8）：22-24.
[13]	Liu Y, Chen B, He W, et al. Massive image data management using Hbase and MapReduce[C]// International Conference on Geoinformatics. IEEE, 2013:1-5.
[14]	吕骁博，郭耀，陈向群. 基于分割的数字图像云存储机制[J]. 计算机研究与发展，2014，51（5）：1129-1135.

施引文献(3)

期刊类型引用(3)

1.	张小强，刘新，巩亮，周航. 行车设备施工维修登销记系统规范化研究. 铁道技术监督. 2024(01): 5-10 . 百度学术
2.	陈刚，夏雷，李林，梁多姿，晁京. 铁路局信息系统状态诊断与辅助管理决策系统的研究. 铁路计算机应用. 2020(03): 32-37 . 本站查看
3.	邓桂星，张锐，王瑜，李世春，王俊清. 营业线施工作业监控系统设计及应用. 铁路计算机应用. 2019(07): 49-51+58 . 本站查看