Bridge health monitoring system based on big data technology
-
摘要: 由于分布在桥梁上的传感器长时间连续地采集数据,传输的数据量非常大,传统的桥梁健康监测系统不能够完全应对海量监测数据,为此,提出了一种基于K线图时间片驱动的滑动窗口数据流处理模型,对传感器网络中的数据流进行快速有效地采集,并且能够减少桥梁监测的数据存储量。基于单一服务器节点的索力统计评估系统,在分析海量数据时存在计算瓶颈,利用集群的分布式并行计算,提出了基于Map/Reduce的索力并行处理模型,实验结果表明,在该模型下处理索力监测历史大数据,可以明显减少专家系统的分析评估时间。Abstract: Because the sensors distributed on the bridge continuously collect data for a long time and transmit a large amount of data, the traditional bridge health monitoring system has not been able to fully deal with the massive monitoring data. Therefore, this paper proposed a sliding window data flow processing model driven by K-line chart time slice, which could quickly and effectively collect the data flow in the sensor network and reduce the data storage for bridge monitoring.The cable force statistical evaluation system based on a single server node has a computing bottleneck in the analysis of massive data. Using the distributed parallel computing of cluster, the paper proposed a cable force parallel processing model based on Map/Reduce. The experimental results show that the processing of cable force monitoring history big data under this model can significantly reduce the analysis and evaluation time of expert system.
-
Keywords:
- bridge engineering /
- big data /
- server cluster /
- health monitoring /
- distributed storage
-
-
[1] 何清,李宁,罗文娟,等.大数据下的机器学习算法综述[J].模式识别与人工智能, 2014, 27(4):328-334 [2] 孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展, 2013, 50(1):146-169. [3] 涂成枫,刘泽佳,张舸,等.面向桥梁长期健康监测的大数据处理技术及应用[J].实验力学, 2017, 32(5):652-663. [4] Tsang IW, Kwork JT, Cheung PM. Core Vector Machines:Fast SVM Training on Very Large Data Sets[J]. Jounal of Machine Learning Research, 2005, 6(2):363-392.
[5] 公丕强.空间数据流系统中基于滑动窗口的查询机制研究[D].重庆:重庆邮电大学, 2007. [6] 汪仁红.基于聚类分析的数据流处理算法[D].重庆:重庆交通大学, 2013. [7] 刘欣,李永刚.海量数据流在桥梁健康监测中的处理方法[J].计算机工程与设计, 2008, 29(1):223-224. [8] 崔杰,李陶深,兰红星.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展, 2012, 49(S1):12-18. [9] 宋爱波,万雨桐,贡欢,等.海量多维数据的存储与查询研究[J].计算机工程与应用, 2016, 52(13):25-31. [10] 顾玉宛,王文闻,孙玉强.一种面向HDFS中海量小文件的存取优化方法[J].计算机应用研究, 2017, 34(8):2319-2323. [11] 冯亚丽,丁良奎,刘永江,等.多格式海量数据统一存取的索引结构[J].计算机应用研究, 2013, 30(6):1664-1667. [12] 马建红,霍振奇.基于HDFS的创新知识云平台存储架构的研究与设计[J].计算机应用与软件, 2016, 33(3):62-66. [13] Jeffrey D, Sanjay G. MapReduce:Simplified Data Processing on Large Clusters[J]. Communications of the ACM, 2008, 51(1):107-113
[14] Shim K. MapReduce Algorithms for Big Data Analysix[J]. Proceedings of the Vldb Endowment, 2013, 5(12):2016-2017.
[15] Pansare N, Borkar VR, Jermaine C, et al. Online Aggregation for Large MapReduce Jobs[J]. Proceedings of the Vldb Endowment, 2011, 4(11):1135-1145.
[16] Thusoo A, Sarma JS, Jain N, et al. Hive:A Warehousing Solution over a MapReduce Framework[J]. Proceedings of the Vldb Endowment, 2010, 2(2):1626-1629.
[17] 耿晨曜,姚丹亚,张盈盈,等. 基于Map-Reduce的分布式视频处理平台[J]. 计算机工程, 2012, 38(10):280-283. [18] Datar M, Gionis A, Indyk P, et al. Maintaining Stream Statistics over Sliding Windows[J]. SIAM Journal on Computing, 2001, 31(6):1794-1813.
[19] 陈世民.桥梁监测系统中海量数据分析理论与应用[D]. 重庆:重庆大学, 2011. [20] 刘多特.斜拉桥换索技术研究[D]. 重庆:重庆交通大学, 2010. [21] 吴海军,王旭燚,韦跃,等. 混凝土桥梁健康监测中的温度滞后效应[J]. 科学技术与工程, 2018, 18(27):241-247. [22] 王喆,马小宁.铁路大数据应用规划及实施策略研究[J]. 铁路计算机应用, 2018, 27(9):44-47. [23] 戚小玉,李平,岳应宁,等. 铁路大数据可视化技术研究及应用[J]. 铁路计算机应用, 2018, 27(12):36-41. -
期刊类型引用(10)
1. 刘宇，吴红林，闫泽一，文世纪，张连振. 基于深度学习的桥梁索力传感器异常数据识别方法. 吉林大学学报(信息科学版). 2024(05): 847-855 . 
百度学术
2. 倪艳春，蔡永谊，张启伟. 大跨径斜拉桥长期健康监测数据的性能分析与应用. 结构工程师. 2024(05): 19-27 . 百度学术
3. 郝龙，李军，邵慧，屈振亚. 基于分布式云计算的桥梁BIM云设计系统研究. 工程技术研究. 2023(19): 154-156 . 百度学术
4. 张建龙，赵东月，栗怡文，郑旭达，王雄，伍卫国，彭家意. 基于神经网络的桥梁健康监测与预警平台研究. 计算机技术与发展. 2022(04): 205-209 . 百度学术
5. 李帆. 云计算技术在桥梁结构健康监测中的应用. 公路. 2022(04): 177-181 . 百度学术
6. 史晓磊，王华伟，刘宗洋，祁苗苗. 铁路货车配件信息管理系统设计. 铁路计算机应用. 2022(06): 40-43 . 本站查看
7. 焦雄风，马龙，金卫峰，陈铮，张献州. 运营高铁重点监测地段云评估系统设计与实现. 铁道勘察. 2021(04): 43-47 . 百度学术
8. 杨兴旺，唐成，易用强，梁伟军. 桥梁云计算2020年度研究进展. 土木与环境工程学报(中英文). 2021(S1): 261-267 . 百度学术
9. 余传锦，陈潜，梁爱霞，何佳勇. 桥梁工程大数据2020年度研究进展. 土木与环境工程学报(中英文). 2021(S1): 321-326 . 百度学术
10. 单德山，罗凌峰，李乔. 桥梁健康监测2019年度研究进展. 土木与环境工程学报(中英文). 2020(05): 115-125 . 百度学术
其他类型引用(10)
计量
- 文章访问数: 170
- HTML全文浏览量: 15
- PDF下载量: 45
- 被引次数: 20
下载:
