铁路数据服务平台存储架构设计与应用

王沛然; 马小宁; 王喆; 邹丹; 刘敏

铁路数据服务平台存储架构设计与应用

中国铁道科学研究院集团有限公司　铁路大数据研究与应用创新中心，北京　100081

基金项目: 国家铁路局科研课题（KF2020-010）；中国国家铁路集团有限公司重大课题（K2019X003）

详细信息

作者简介:
王沛然，研究实习员

马小宁，研究员

中图分类号: U29 : TP39
计量
- 文章访问数: 266
- HTML全文浏览量: 350
- PDF下载量: 73
出版历程
- 收稿日期: 2020-11-17
- 刊出日期: 2021-05-24

Design and application of storage architecture of railway data service platform

Research and Application Innovation Center for Big Data Technology in Railway, China Academy of Railway Sciences Corporation Limited, Beijing 　100081，China

摘要

摘要: 针对当前“数据沼泽”日益突出的问题，从铁路数据服务平台存储架构层面提出一种新的顶层设计。该设计包括存储组件分区管理模块、全链路存储组件监控模块、无感存储组件访问中间件模块3个部分。存储组件分区管理模块根据数据的数据类型、使用频度、应用场景等方面，灵活将数据存储在高性价比、高可靠的各个存储组件中；全链路存储组件监控模块提供数据全生命周期流转过程，实时监控各类数据在存储组件中的存储状况；无感存储组件访问中间件提供无感、跨组件的数据访问服务。并结合铁路数据服务平台应用实例，更直观地描述数据在平台中的存储、管理及访问，使得“数据沼泽”问题在铁路数据服务平台中得到解决。
- 铁路大数据 /
- 数据服务平台 /
- 数据存储 /
- 数据管理 /
- 数据访问
Abstract: The current "data swamp" problem has become increasingly prominent. This article combined the application of railway big data and proposed a new top-level design from the storage architecture of the railway data service platform. The design included three parts: storage component partition management module, full-link storage component monitoring module, and non-inductive storage component access middleware. The storage component partition management module flexibly stored the data in cost-effective and highly reliable storage components according to the data type, frequency of use, and application scenarios of the data. The full-link storage component monitoring module provided the data flow process throughout the life cycle, real-time monitoring of the storage status of various types of data in storage components. Non-sense storage component access middleware provided non-sense, cross-component data access services. Finally, combined with the application examples of the railway data service platform, the article made a more intuitive description of the data storage, management and access in the platform, so that the "data swamp" problem could be solved in the railway data service platform.
- railway big data /
- data service platform /
- data storage /
- data management /
- data access

HTML全文

图 1 铁路数据服务平台存储架构

下载: 全尺寸图片幻灯片

图 2 无感存储访问组件原理

下载: 全尺寸图片幻灯片

图 3 结构化数据与非结构化数据融合分析数据传输流程

下载: 全尺寸图片幻灯片

图 4 某铁路局集团公司结构化数据与非结构化数据融合分析数据链路

下载: 全尺寸图片幻灯片

参考文献(10)

[1]	陈　润. 面向铁路运维的大数据流式处理技术的研究与应用[D]. 北京: 北京交通大学, 2017.
[2]	武威,马小宁,刘彦军,等. 铁路数据服务平台安全策略研究 [J]. 中国铁路,2019(8):63-68.
[3]	苏尔慈,刘敏,李平,等. 基于铁路数据服务平台的铁路工务设备安全画像应用设计方案 [J]. 铁路计算机应用,2020,29(6):34-38.
[4]	马小宁,李平,史天运. 铁路大数据应用体系架构研究 [J]. 铁路计算机应用,2016,25(9):7-13. DOI: 10.3969/j.issn.1005-8451.2016.09.003
[5]	邱燕娜. 数据湖不能成为数据沼泽[N]. 中国计算机报, 2015-09-28（11）.
[6]	Teradata US Inc. Optimization Of Database Queries With Multiple Heterogeneous Database Systems[J]. Information Technology Newsweekly, 2020 :1738.
[7]	何遥,刘维,程岳寅,等. 云时代的高清存储 [J]. 中国公共安全,2015(20):126-134.
[8]	徐砚,谷鹏. 电力监控网大数据分析平台研究与设计 [J]. 通信技术,2018,51(8):1908-1913. DOI: 10.3969/j.issn.1002-0802.2018.08.026
[9]	陈真勇,徐州川,李清广,等. 一种新的智慧城市数据共享和融合框架−SCLDF [J]. 计算机研究与发展,2014,51(2):290-301.
[10]	程平,杜姗. 基于数据仓库的行政事业单位采购管理内部控制评价−以重庆海事局为例 [J]. 财会月刊,2019(17):53-57.

施引文献(5)

期刊类型引用(5)

1.	冯宗明，胡志鹏，尹伊伊，常曾硕，周强，刘文韬，张志强，王洪业. 基于12306客票系统的港铁跨境电子客票设计与实现. 铁道运输与经济. 2024(09): 67-73+106 . 百度学术
2.	张妍君，赵耀. 5G在铁路信息系统中的应用. 中国铁路. 2023(05): 13-20 . 百度学术
3.	屈晓勇，贾俊芳. 基于电子客票的铁路学生票业务流程再造研究. 中国铁路. 2021(04): 49-55 . 百度学术
4.	阎志远，汪健雄. 京张高铁多模态智能票务模式研究. 铁路计算机应用. 2021(07): 14-20 . 本站查看
5.	李士达. 铁路电子客票载体选型及应用研究. 铁道运输与经济. 2020(11): 92-96+103 . 百度学术