随着我国铁路行业不断发展，铁路运输收入管理面临着新的挑战^[1]，在到达货物收费合规性、收入稽查工作创新性及运输收入的多维度分析方面还存在一定的短板^[2]。主要表现在：（1）收入分析数据多由信息人员通过人工方式再加工获取，加工过程重复，数据灵活性、扩展性较弱；（2）收入稽查信息化水平较为薄弱，通过审核确认后的运输收入数据仅由收入部门掌握，其他业务部门或生产经营站段数据获取缺乏及时性和针对性，形成“信息孤岛”；（3）各业务系统之间数据指标口径不统一，对外数据需要经过多次人为操作加工，增加工作量的同时也存在数据安全隐患，影响数据查询效率、实时性、一致性和准确性。因此，如何高效地处理、加工、分析和使用海量铁路运输收入数据是收入部门亟需解决的问题。

在大数据时代的背景下，为了满足大规模数据处理及分析的需求，分布式数据仓库应运而生。数据仓库是面向分析的数据集合，主要用于数据挖掘、数据分析及为企业决策制定过程提供数据支持。而GreenPlum作为一种成熟的分布式数据仓库^[3]，可为实时数据仓库的存储、数据处理和数据查询提供全面的支持^[4]。GreenPlum的主要优势有：（1）使用无共享的大规模并行处理架构，通过将数据平均分布在系统所有节点服务器上，实现所有数据加载和查询的并行运行^[5]；（2）使用多态维数据存储技术，支持混合按列或按行存储数据，此外，还可将其用于大规模数据分析任务（包括分析型数据库和数据挖掘）的处理^[6]。

基于此，本文设计并实现了基于GreenPlum数据仓库的铁路运输收入数字化管理平台。通过对数据信息采集整合、计算处理、科学分析及可视化等技术，建立全方位的数据视角，消灭“信息孤岛”和数据差异，加强了收入预算监控，从而提升了收入稽查工作信息化水平。

1   平台设计

1.1   设计原则

铁路运输收入数字化管理平台需满足以下原则。

（1）高内聚、低耦合原则：底层框架稳定，不会因为需求改变而引起较大调整。

（2）展现形式多样性原则：基于商业智能（BI，Business Intelligence）数据可视化报表以及项目组前端表格组件化定制和开发，根据用户需要，提供灵活、形式多样、内容丰富的图表等展现形式，具有良好的自定制功能。

（3）易用性原则：关联数据集中展示，平台界面简单直观，方便用户查询。

1.2   总体架构

铁路运输收入数字化管理平台基于B/S模式开发，采用虚拟化技术、集群技术，提高硬件资源利用效率，保证应用服务系统的扩展性和可靠性。平台总体架构如图1所示。

图  1  平台总体架构

下载: 全尺寸图片 幻灯片

（1）基础设施层

基础设施层提供了多种应用编程接口，将网络、存储、计算等资源移交到上层，为传输信息技术服务提供基础。

（2）数据资源层

该层通过GreenPlum数据仓库实现数据汇集、清洗、转换、存储和多维分析；将Oracle数据库、数据资源服务平台的基础数据、业务数据及其他非结构化数据进行集成和共享。

（3）业务应用层

该层提供平台统一登录管理、申请审核数据服务、系统重要字典和参数维护等功能；通过对日志、收入数据、预算模板、稽查计划等内容的管理，实现运输收入多维业务数据的图表可视化。

（4）访问层

访问层用于实现应用功能的访问与操作，通过业务应用层的统一身份认证功能为铁路局集团公司和站段不同角色用户提供不同权限的服务。

2   关键技术

2.1   基于GreenPlum的数据治理技术

Greenplum把来自于多个异构的源系统的数据集成在一起，放置于一个集中的位置用于数据分析。以数据仓库架构搭建为基础，从源数据到数据仓库建模，再到数据仓库应用以及数据服务整体策划，实现了整个项目的闭环^[7]。数据仓库架构如图2所示。

图  2  数据仓库架构

下载: 全尺寸图片 幻灯片

（1）数据源由各种形式的业务数据组成，包括关系数据库、txt或csv文件、HTML或XML文档，以及结构化、半结构化或非结构化的外部系统数据。运输收入数字化管理平台数据主要来源于客审库、货审库、报表系统及其他分析系统。

（2）Greenplum接收数据后，执行抽取、转换、装载（ETL，Extract Transform Load）过程^[8]。

抽取过程即从数据源获取数据并按照主题进行集成，提供给后续的数据仓库环境使用，物理上是将数据源数据全量或增量复制到数据仓库系统的原始数据存储RDS（Raw Data Stores）中。通常数据都不只抽取一次，而是需要以一定的时间间隔反复抽取，通过这样的方式把数据的所有变化提供给数据仓库，以保持数据的及时性。

数据被成功抽取后，就可以进行转换并装载到数据仓库中。在数据转换阶段，为了能够成功将数据装载到数据仓库中，需要在已抽取的数据上应用一系列规则和函数。转换、装载过程就是对数据进行清洗、过滤、汇总、统一格式化等一系列操作，使数据转为适用于查询和分析的形式和结构，最终装载进数据仓库系统转换后的数据存储（TDS，Transformed Data Stores）中。

（3）自动化调度组件负责自动定期重复执行ETL过程。数据仓库系统建立了周期性自动执行的工作流作业。

（4）查询引擎组件负责实际执行用户查询。

（5）用户界面支持平台业务人员在经过转换的数据集上进行即席查询。

2.2   分布式计算处理

分布式计算就是将计算任务分摊到大量的计算节点上，共同完成海量的计算任务。本文基于大规模并行处理（MPP，Massively Parallel Processing）架构进行分布式数据存储和并行计算。

MPP可对海量铁路运输收入数据进行分割并单独存储，MPP数据库由多个完全独立的数据库构成，各数据库具有完整的数据存储、数据管理和数据操作的能力，并基于网络实现节点互联，形成一个整体对外提供服务，节点间互不干扰，不共享磁盘和计算能力。本文利用MPP架构将客货运票据、运输进款等运输收入数据按数据库模型和主题应用特点划分到各个节点上，每个节点都有独立的磁盘存储系统和内存系统，由平台统一调度资源并将数据平均分布在所有计算节点服务器上并行运行，从而提升运行效率。

2.3   数据流程设计

铁路运输收入数字化管理平台整体采用分布式架构，后端采用主流SpringBoot + SpringCloud微服务框架开发，同时整合了定时任务，为部分业务作预处理。项目前端采用Element-UI进行页面布局、npm进行依赖管理、axios进行异步调用，使用Echarts、DataV、BI等进行图表可视化，实现全栈开发。平台数据流程如图3所示。

图  3  平台数据流程

下载: 全尺寸图片 幻灯片

（1）Nginx作为容器中间件负责反向代理和负载均衡，代理转发前端Web业务交互和用户行为数据到对应业务服务器和日志服务器中进行缓存，响应后的业务交互数据存储在Oracle中间库。

（2）GreenPlum集群存储与Oracle中间库之间定时同步数据，数据在GreenPlum数据仓库通过原始数据层、数据主题层、服务数据层、明细数据层、数据应用层等进行分层管理，从而简化数据清洗的过程。

（3）经过数据仓库处理分析的数据通过多维分析和即席查询映射到用户界面等可视化工具展示。

3   平台功能

铁路运输收入数字化管理平台提供收入管理、预算管理、稽查管理及分析统计功能，功能架构如图4所示。

图  4  平台功能架构

下载: 全尺寸图片 幻灯片

3.1   收入管理

（1）银行对账操作：平台提供承兑汇票导入、查询、到期提醒等功能。

（2）进款数据核对：对日记账与银行对账单、日进账与窗口票据总计单等数据进行核对并记录；对车站进款在途时间、应汇缴金额与日记账不符等预警显示。

（3）进款数据查询：包括车站进款日记账查询与银行对账单导入查询等功能。

3.2   预算管理

（1）预算编制管理：具体包括预算导入模板定义、预算初始化、预算手工录入和预算复核功能。能够快速将需求中预算编制结果导入系统，形成预算卡控指标，并支持铁路局集团公司及其他单位导入预算数据。预算编制流程如图5所示。

图  5  预算编制流程

下载: 全尺寸图片 幻灯片

（2）预算体系管理：按照预算单位、预算分类（客运、货运）、预算项目（旅客票价、车补、客运其他收入、货物运费、货运其他收入、建设基金、保价）、预算维度（车务站段、货运中心、客运段）、预算期间（年度、季度、月度）、预算要素（工作量、金额）建立预算体系，并在预算项目上设置控制属性。

（3）预算控制管理：通过梳理各个运输营业单位截至目前的所有收入数据，分别针对项目、运量、收入等预算进行卡控，在统计分析中实现预算分析功能，通过程序实现重点指标提醒预警和营业单位预算执行情况的提醒，从而支持决策目标^[9]。

3.3   稽查管理

（1）稽查工作计划：可编制专项、专题及日常稽查工作计划，编制成功后由相关人员进行审批操作，审核后的计划可发布执行。当需要执行稽查任务时，用户将检查内容及检查状态上传至平台^[10]，相关人员可查看并对任务进行备注；稽查任务结束后，平台可提醒用户落实计划中发现的问题，并禁止关闭未能整改的计划。通过平台卡控，确保每个问题整改到位，实现闭环管理，形成了完整的稽查信息化过程。

（2）问题库管理：通过执行稽查计划，平台可自动获取检查问题并进行保存，形成问题库。此外，平台可在指定时间范围内，按单位、问题或检查人进行统计分析，提供站段重点问题分布、问题出现频率占比、检查人问题件数统计等功能，提高稽查工作效率。

（3）规章制度管理：包括对文档的集中存储与共享、权限控制、并发修改控制、版本管理、文档日志、基线管理等功能。

3.4   分析统计

（1）客运分析统计：实现按车次、字头、线别、平均行程和省区等要素统计查询及分析旅客票价收入的功能，可根据工作需要及列车运行图变化情况，自定义维护车次相关信息。

（2）货运分析统计：实现发送货票、到补货票等基础票据的查询，可展示票组及票据详细信息，包括票据票面、货票承运、费用分科目、结算方式、记事、承运分段及预测服务费等信息。

（3）报表分析统计：支持对比时间范围、单位组合、报表类型、报表字段和收入组成等关键项的组合查询。

（4）其他定制分析：不同岗位用户可以通过维护参数自定义所需报表。

4   结束语

本文设计的基于GreenPlum的运输收入数字化管理平台已成功应用于中国铁路兰州局集团有限公司，实现了铁路局集团公司、站段两级用户通过内部服务网访问应用，符合铁路企业实际需求及客货运票据电子化发展要求，为财务收入部门及站段各层级用户提供符合自身业务特点的角色分配、用户权限、个性服务和系统支持，大幅提高了收入工作效率，提升财务收入工作信息化水平，实现由传统收入管理向数字化管理的转型。

下一步将继续聚合客货运和财务相关业务数据，深度挖掘指标数据价值，不断优化、完善和拓展平台功能，充分利用大数据技术，实现精准分析和科学决策，提升铁路运输收入数字化管理水平。