桥梁健康监测系统中的大数据分析与研究

向阳; 杜君

桥梁健康监测系统中的大数据分析与研究

向阳,
杜君

中国中铁大桥局集团有限公司武汉桥梁特种技术有限公司, 武汉 430205

基金项目:

中铁大桥局集团有限公司科技研究开发计划课题(2018-30-重点)

详细信息

作者简介:
向阳,工程师;杜君,助理工程师。

中图分类号: U246.2;TP39
出版历程
- 收稿日期: 2019-05-09

Bridge health monitoring system based on big data technology

XIANG Yang,
DU Jun

Wuhan Bridge Special TechnologyLtd., China Railway Major Bridge Engineering Group Co. Ltd., Wuhan 430205, China

摘要

摘要: 由于分布在桥梁上的传感器长时间连续地采集数据,传输的数据量非常大,传统的桥梁健康监测系统不能够完全应对海量监测数据,为此,提出了一种基于K线图时间片驱动的滑动窗口数据流处理模型,对传感器网络中的数据流进行快速有效地采集,并且能够减少桥梁监测的数据存储量。基于单一服务器节点的索力统计评估系统,在分析海量数据时存在计算瓶颈,利用集群的分布式并行计算,提出了基于Map/Reduce的索力并行处理模型,实验结果表明,在该模型下处理索力监测历史大数据,可以明显减少专家系统的分析评估时间。
- 桥梁工程 /
- 大数据 /
- 服务器集群 /
- 健康监测 /
- 分布式存储
Abstract: Because the sensors distributed on the bridge continuously collect data for a long time and transmit a large amount of data, the traditional bridge health monitoring system has not been able to fully deal with the massive monitoring data. Therefore, this paper proposed a sliding window data flow processing model driven by K-line chart time slice, which could quickly and effectively collect the data flow in the sensor network and reduce the data storage for bridge monitoring.The cable force statistical evaluation system based on a single server node has a computing bottleneck in the analysis of massive data. Using the distributed parallel computing of cluster, the paper proposed a cable force parallel processing model based on Map/Reduce. The experimental results show that the processing of cable force monitoring history big data under this model can significantly reduce the analysis and evaluation time of expert system.
- bridge engineering /
- big data /
- server cluster /
- health monitoring /
- distributed storage

HTML全文

参考文献(23)

[1]	何清,李宁,罗文娟,等.大数据下的机器学习算法综述[J].模式识别与人工智能, 2014, 27(4):328-334
[2]	孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展, 2013, 50(1):146-169.
[3]	涂成枫,刘泽佳,张舸,等.面向桥梁长期健康监测的大数据处理技术及应用[J].实验力学, 2017, 32(5):652-663.
[4]	Tsang IW, Kwork JT, Cheung PM. Core Vector Machines:Fast SVM Training on Very Large Data Sets[J]. Jounal of Machine Learning Research, 2005, 6(2):363-392.
[5]	公丕强.空间数据流系统中基于滑动窗口的查询机制研究[D].重庆:重庆邮电大学, 2007.
[6]	汪仁红.基于聚类分析的数据流处理算法[D].重庆:重庆交通大学, 2013.
[7]	刘欣,李永刚.海量数据流在桥梁健康监测中的处理方法[J].计算机工程与设计, 2008, 29(1):223-224.
[8]	崔杰,李陶深,兰红星.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展, 2012, 49(S1):12-18.
[9]	宋爱波,万雨桐,贡欢,等.海量多维数据的存储与查询研究[J].计算机工程与应用, 2016, 52(13):25-31.
[10]	顾玉宛,王文闻,孙玉强.一种面向HDFS中海量小文件的存取优化方法[J].计算机应用研究, 2017, 34(8):2319-2323.
[11]	冯亚丽,丁良奎,刘永江,等.多格式海量数据统一存取的索引结构[J].计算机应用研究, 2013, 30(6):1664-1667.
[12]	马建红,霍振奇.基于HDFS的创新知识云平台存储架构的研究与设计[J].计算机应用与软件, 2016, 33(3):62-66.
[13]	Jeffrey D, Sanjay G. MapReduce:Simplified Data Processing on Large Clusters[J]. Communications of the ACM, 2008, 51(1):107-113
[14]	Shim K. MapReduce Algorithms for Big Data Analysix[J]. Proceedings of the Vldb Endowment, 2013, 5(12):2016-2017.
[15]	Pansare N, Borkar VR, Jermaine C, et al. Online Aggregation for Large MapReduce Jobs[J]. Proceedings of the Vldb Endowment, 2011, 4(11):1135-1145.
[16]	Thusoo A, Sarma JS, Jain N, et al. Hive:A Warehousing Solution over a MapReduce Framework[J]. Proceedings of the Vldb Endowment, 2010, 2(2):1626-1629.
[17]	耿晨曜,姚丹亚,张盈盈,等. 基于Map-Reduce的分布式视频处理平台[J]. 计算机工程, 2012, 38(10):280-283.
[18]	Datar M, Gionis A, Indyk P, et al. Maintaining Stream Statistics over Sliding Windows[J]. SIAM Journal on Computing, 2001, 31(6):1794-1813.
[19]	陈世民.桥梁监测系统中海量数据分析理论与应用[D]. 重庆:重庆大学, 2011.
[20]	刘多特.斜拉桥换索技术研究[D]. 重庆:重庆交通大学, 2010.
[21]	吴海军,王旭燚,韦跃,等. 混凝土桥梁健康监测中的温度滞后效应[J]. 科学技术与工程, 2018, 18(27):241-247.
[22]	王喆,马小宁.铁路大数据应用规划及实施策略研究[J]. 铁路计算机应用, 2018, 27(9):44-47.
[23]	戚小玉,李平,岳应宁,等. 铁路大数据可视化技术研究及应用[J]. 铁路计算机应用, 2018, 27(12):36-41.