国家数字经济战略的推进，对数据基础设施提出全新要求，须构建适配数据要素特征、利于数据流通与价值发挥的数据基础设施^[1]。2023 年 8 月，中国国家铁路集团有限公司（简称：国铁集团）发布《数字铁路规划》^[2]，提出要夯实数字铁路建设基础、提升赋能赋智能力、推动数据服务平台升级、构建高质量铁路数据资源、深化数据汇聚共享，以实现跨专业横向联通与跨层级纵向贯通的大数据应用，充分释放数据价值。2024 年 3 月，国铁集团发布的《进一步加强铁路数据共享利用工作方案》^[3]也指出，要依托大数据与人工智能平台，规范建立数据目录，扩大数据汇聚规模，持续提升数据质量，开展平台升级，增强综合服务能力。

当下，国铁集团在运输调度、客运、货运、机辆及工务、电务、供电等专业领域的数据量持续攀升，数据来源愈发丰富，对数据共享、深度应用的需求不断加大，同时对数据安全防护要求也显著提高^[4]。在此背景下，只有加强数据的管理与运用，深度挖掘数据价值^[5-6]，借助数据驱动提升业务效率与创新能力，才能高效推进铁路数字化转型。

既有的铁路数据服务平台于 2019 年初在中国铁路主数据中心上线运行，是一个集数据登记、汇聚、共享、分析应用于一体的综合性大数据平台。其基于开源 Hadoop 生态框架，是自主可控的企业级大数据平台，可满足铁路数据离线及批量分析需求^[7]。围绕 “平台 + 应用” 模式，采用该平台，在安全、电务、客运、货运及综合管控等多业务领域开展了大数据应用分析实践^[8-9]，为铁路局集团公司专业工作及领导决策提供有力支撑。此外，基于平台数据管理能力，已开展数据分类、目录构建、汇聚与共享等工作^[10]。然而，该平台仍存在数据共享困难、分析难度大、重复研究及资源利用率低等问题。随着新技术、新框架不断涌现，业务数据量呈指数级增长，既有技术架构与平台功能亟需迭代升级，以满足各专业对复杂应用场景下多类型数据处理能力及效率的需求，以及高效的数据组织管理需求。

基于此，为提升数据管理智能化水平，高质量赋能各专业大数据应用场景，本文综合技术进步、业务发展、安全合规、用户体验及降本增效等多方面因素，对既有铁路数据服务平台的总体架构、功能架构及技术架构进行升级优化，开展面向数字铁路基础设施能力提升的数据服务平台（简称：数据服务平台）研究。借助大数据、人工智能、云原生等技术扩展技术栈，提升既有平台的功能、性能、安全合规性及用户体验，以支撑铁路数据的高效组织与利用，从容应对铁路数字化转型带来的需求与挑战。

1   平台设计

1.1   总体架构

本文针对通用性大数据平台在铁路领域存在的适应性差、复杂业务难关联、行业模型算法支撑不足等问题，设计数据服务平台总体架构。在数据治理能力和安全体系的保障下，构建融合批处理、内存计算、流式计算及深度学习等技术的数据服务平台架构，提升其在数据存储与计算方面的灵活性和高效性。数据服务平台总体架构如图1所示。

图  1  数据服务平台总体架构

下载: 全尺寸图片 幻灯片

1.1.1   数据源层

为数据服务平台提供原始数据。通过数据传输、数据迁移、文件同步及实时采集等多种数据采集方式，汇聚不同信息系统的铁路内部数据，以及政务、社会等外部数据，包括结构化数据、半结构化数据及非结构化数据等。

1.1.2   数据底座层

以业务数字化为前提，数据入湖为基础，打造湖仓一体的统一数据基础底座，满足多种数据类型统一存储、多场景高效分析需求。提供数据治理功能，在保障数据安全的前提下，对数据湖数据进行清洗整合及加工汇总，按不同分类对数据进行高效管理，为上层应用提供数据服务。

1.1.3   数据应用层

通过数据计算统计及分析挖掘，为铁路各业务部门提供辅助决策、预报预警、趋势预测等大数据应用。

1.2   技术架构

按照弹性扩容、安全可控、易于维护、性能优越、国产化替代的原则，以解决铁路大规模数据采集、管理、处理、分析及共享问题为目的，从基础设施、数据接入、数据存储、计算引擎、工具应用、服务及运营维护（简称：运维）管理等方面开展数据服务平台技术架构研究，实现高性能计算、灵活缩/扩容、智能化运维及安全可控。数据服务平台技术架构如图2所示。

图  2  数据服务平台技术架构

下载: 全尺寸图片 幻灯片

1.2.1   基础设施

对部署数据服务平台的服务器芯片和操作系统进行国产化适配研究。需要在保证性能的基础上，实现部署了主流国产化芯片和操作系统的数据服务稳定运行。

1.2.2   数据接入

丰富平台数据接入方式，提供消息队列、流式数据集成框架FlinkCDC（Flink Change Data Capture）、基于HTTPS协议的Restful API（ Application Programming Interface）及数据采集工具等，支持多种数据源实时流传输及批量导入，确保数据高效安全传输。

1.2.3   数据存储

满足多类型数据的数据存储，并集成了数据湖管理框架HUDI（Hadoop Upserts Deletes and Incrementals）或Iceberg，提供高效的数据存储解决方案。

1.2.4   计算引擎

提供基于Spark、MapReduce技术的离线批处理能力、基于Storm、Flink、Streaming技术的实时流处理能力，以及可进行模型训练和构建的数据分析挖掘能力，支撑数据高效分析利用。

1.2.5   工具应用

数据服务平台集成数据调度技术工具，保障各类数据分析处理任务高效运转；兼容FineBI、FineReport、MetaBase等可视化工具，支持自定义仪表板和报表，用于数据可视化和报表生成；通过加密、脱敏、水印等数据安全防护技术，保障数据在传输和使用过程中的安全。

1.2.6   服务及运维管理

数据服务平台包含了一系列配套的服务和运维管理技术。如：针对数据采集、共享等服务的 API 服务，涉及访问技术、安全技术、发布和路由技术、限流和熔断技术及监控技术等多个方面；服务器和中间件的智能运维监控技术，提供报警机制和健康状况监测；用户访问权限管理和日志审计技术，确保数据操作的可追溯性；利用YARN、ZooKeeper等技术实现自动化资源分配和任务调度管理。

1.3   数据架构

数据服务平台数据流转示意如图3所示。

图  3  数据服务平台数据流转示意

下载: 全尺寸图片 幻灯片

针对结构化数据和非结构化数据，提供消息队列、API、文件传输、ETL（Extract-Transform-Load）工具等多种数据同步技术，采集各专业多源异构数据，满足铁路行业多类型数据离线批量及实时流式数据采集需求，实现数据统一入湖纳管。

基于数据仓库分层模型，面向业务需求场景开展离线及实时的数据开发、数据加工整合，提升数据质量，助力开展可视化分析、报表分析、自助开发及数据挖掘分析，形成铁路专业算法库、模型库和场景库，并为各业务应用提供数据共享开放服务，包含数据服务、算法模型服务、应用服务和查询服务等。

2   平台功能

数据服务平台具备多源异构数据存储能力、全域数据管理能力、多类型数据分析挖掘能力、数据标准化治理能力、数据共享开放及价值变现能力，面向领导决策者、数据管理人员、业务部门人员、数据分析挖掘人员及应用系统研发运维人员，提供数据采集存储、数据管理、数据分析、数据运营、数据共享、数据安全及智能运维等功能。该平台功能架构如图4所示。

图  4  数据服务平台功能架构

下载: 全尺寸图片 幻灯片

2.1   数据采集存储

包含针对结构化和非结构化数据的数据资源登记、数据汇聚、汇聚监控等功能，提供便捷高效、适应多种采集需求的数据采集能力，实现数据资源统一管理。

2.2   数据管理

包含元数据管理、数据目录管理、数据质量管理、数据工厂、数据标签管理、数据标准管理等功能，支持元数据追踪和溯源、数据质量提升、数据处理等，提供数据快速定位能力。

2.3   数据分析

包含报表及可视化服务、数据开发、数据挖掘分析等功能，支持海量数据离线和实时分析，支持自主式的数据探索和挖掘，促进数据价值发挥。

2.4   数据运营

包含个人工作台、领导驾驶舱及各类数据相关的统计报表，方便及时了解铁路数据现状，为数据管理人员提供辅助支持。

2.5   共享服务

包含数据开放门户及后台数据共享管理功能，提供铁路数据目录浏览、数据共享线上申请审核、数据共享服务接口自生成等能力。

2.6   数据安全管理

包含数据分级、数据加密、数据脱敏、数据水印、敏感数据识别等功能，通过提供多种数据安全防护引擎针对性开展数据安全管理活动。

2.7   智能运维

提供角色控制的多层级用户权限管理，严格控制数据服务平台菜单和数据访问权限。利用自动化、智能化手段，实现数据服务平台一键部署、监控告警、故障自愈等能力。

3   关键技术

3.1   数据采集共享分布式微服务

数据服务平台采用SpringCloud微服务架构模式，基于分布式高可用理念，统一管理网关服务及平台数据汇聚共享相关服务。采用SpringCloud Gateway 作为网关层远程过程调用（RPC，Remote Procedure Call）框架，实现服务分发；基于Alibaba Nacos实现平台服务的注册和配置管理，通过注册多个同类服务实现服务分布式管理；基于Sentinel中间件实现服务的熔断限流及降级，限制用户访问量，实现服务异常及风险管理；基于Nginx和Openfeign实现客户端及服务端的负载均衡。用户发起服务调用请求，被网关拦截，在网关做身份认证和权限校验后，通过Nacos发现对应的接口服务，采用轮询的方式（负载方式可以调节）调取汇聚接口或共享服务，分布式微服务架构如图5所示。

图  5  分布式微服务架构

下载: 全尺寸图片 幻灯片

3.2   湖仓一体存储

针对铁路海量多源异构、繁多业务类型数据，采用数据湖及数据仓库结合的混合存储模式，研究多数据中心的统一查询分析引擎，利用统一语义检索、数据虚拟化、内存管理优化、多源数据接入等技术，构建湖仓一体化存储底座，将数据仓库的高性能及管理能力与数据湖的灵活性融合起来，解决多数据类型存储分散、跨源分析困难、灵活调度复杂等问题，实现多模数据的统一存储、全量采集、秒级响应及灵活访问，建立端到端的业务支撑模式，湖仓一体技术架构如图6所示。

图  6  湖仓一体技术架构

下载: 全尺寸图片 幻灯片

3.3   数据安全防护

针对铁路 “计算安全”“隐私保护”“数据集中管理”“终端不留密”“网络防护”的实际需求，以数据全方位、全生命周期、全逻辑过程管控为目标，以面向铁路数据服务平台采集、集成、共享、存储、挖掘、发布等数据全流程安全需求为导向，利用权限管控、国密加密算法、敏感数据识别等技术，提出数据风险微粒度防护模型，构建多级安全体系，建立铁路数据分级分类安全存储机制，解决敏感数据未授权访问、数据泄露和数据丢失等安全问题，实现平台数据处理、传输过程的自主、可控、可信，确保数据价值的最大化发挥，数据安全防护体系架构如图7所示。

图  7  数据安全防护体系架构

下载: 全尺寸图片 幻灯片

该架构从物理、网络、系统、应用、终端等5个层面，全方位构建安全防护体系。物理安全，通过门禁、网闸、环境监控等措施保障机房及设施安全；网络安全，利用加密、流量控制、入侵检测等技术确保数据传输与网络访问安全；系统安全，借助权限设置、补丁管理、入侵监测等手段保护系统稳定与数据安全；应用安全，依靠统一身份认证和权限角色控制保障应用访问有序；终端安全，通过堡垒机、准入控制、监控审计等措施防止终端非法操作与恶意入侵，各层面相互配合，共同守护系统安全。

4   结束语

数据服务平台已在国铁集团和部分铁路局集团公司部署实施，基于该平台，可开展集团公司内的信息系统基本情况登记、数据目录构建、数据汇聚、数据治理、数据共享等数据管理工作；基于“平台+数据+应用”的建设模式，可开展安全、电务、工务、客运、货运等领域的大数据分析应用，提升国铁集团数据管理精细化水平，促进铁路数据开放共享，提升资源利用率，为各业务部门生产应用提供辅助决策支持。

数字化转型是铁路行业顺应新趋势发展并持续保持竞争力的重要途径，基础设施建设在数字化转型实践中不可或缺，而数据服务平台的持续升级优化和功能补强，是强化数字基础设施建设的重要途径之一，为数据价值充分发挥和挖掘利用提供工具和技术，实现各领域业务发展模式的创新和业务增长。未来，随着新技术的发展和数字化转型的推进，数据服务平台的功能和底层技术框架将持续迭代升级，为铁路行业提供更精细的资源管理、更高效的资源利用、更优质的客户体验、更强的辅助决策能力。