• 查询稿件
  • 获取最新论文
  • 知晓行业信息

高速铁路道岔异构数据在Hbase上的云存储方案

高速铁路道岔异构数据在Hbase上的云存储方案

  • 摘要: 实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像等异构数据,引入大数据技术中的Hbase非结构化数据存储理念,提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题,提出基于MapReduce的优化图像分块存储算法,实现高速铁路道岔异构数据的Hbase云存储,在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10 GB历史数据约为15 min,在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法,存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。

     

    Abstract: 实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像等异构数据,引入大数据技术中的Hbase非结构化数据存储理念,提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题,提出基于MapReduce的优化图像分块存储算法,实现高速铁路道岔异构数据的Hbase云存储,在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10 GB历史数据约为15 min,在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法,存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。

     

/

返回文章
返回