High–speed railway track quality index prediction method based on 3D convolution neural network
-
摘要: 轨道质量指数（TQI，Track Quality Index）是反映高铁整体线路质量状态的重要指标，分析TQI数据的变化规律能够对高铁线路养护维修提供重要指导和参考依据。为提高TQI数据预测的准确性，提出了一种多项特征数据的3D卷积神经网络模型，分析了TQI数据特征，抽取时间、空间、检测项数据并形成三维特征数据集，基于3D卷积神经网络算法，构建8层TQI预测模型，并从初始化参数、学习速率、激活函数、损失函数、Dropout方法等角度对模型进行优化，并利用某高铁线检测数据进行试验验证。结果表明，3D卷积神经网络模型可较好的预测高铁线路状态变化趋势，且对比于BP神经网络和2D卷积神经网络方法，平均绝对误差分别降低了41.48%、26.32%，均方差分别降低了65.42%、39.93%，证明了该方法的准确性与有效性，对于预测TQI与制定高铁线路养护维修计划具有实用价值。Abstract: Track Quality Index(TQI) is an important indicator reflecting the overall quality status of the high-speed railway, thus the analysis of the change pattern of TQI data can provide important guidance and reference for the maintenance and repair of high-speed railway. This paper proposed a 3D convolutional neural network model with multiple feature data, analyzed the characteristics of TQI data, extracting time, space and detection items to form a three-dimensional feature data set. Based on 3D convolution neural network algorithm, the paper constructed an 8-layer TQI prediction model, and optimized the model from the aspects of initialization parameters, learning rate, activation function, loss function, Dropout method, and used the detection data of a high-speed railway line for experimental verification. The test results show that the 3D convolution neural network model can better predict the state change trend of high-speed railway lines. Compared with BP neural network and 2D convolution neural network, the average absolute error is reduced by 41.48% and 26.32%, and the mean square error is reduced by 65.42% and 39.93%, respectively. It is proved that the method is accurate and effective, and has practical value for predicting TQI and formulating maintenance plan of high-speed railway lines.
-
高速铁路新线运营里程已经超过2.2万km，占全球高速铁路运营里程的50%以上。轨道质量指数（TQI，Track Quality Index）是评价高铁线路质量状态的关键指标，TQI数据目前主要由高铁综合检测车检测得到，包括左高低、右高低、左轨向、右轨向、水平、轨距、三角坑7项指标，通过专业软件进行位置偏差校准后，形成以每200 m为一个单位区段的评估数据。通过充分挖掘TQI数据中的各类特征信息，能够较为准确且合理地预测TQI变化趋势。目前，国内外已有大量专家学者对TQI开展了趋势变化分析及预测研究。早期学者基于综合因子法[1]、灰色系统[2-6]、概率分布思想[7-8]对TQI预测进行研究；近年来，Falamarzi[9]、Hakan Guler[10]、彭丽宇[11]等人通过建立人工神经网络模型对轨道不平顺或轨道几何退化进行预测，这些模型相比于传统预测方法具有更高的准确度。
目前基于神经网络的TQI预测模型已取得较佳效果，但各专家学者研究的方法及数据仍存在时间短、范围小、数据特征单一等弊端。这些算法在铁路TQI预测场景中，无法满足高铁线路车辆密度大、影响因素繁多、运行状态复杂、地质与周边环境多样的实际情况，对于TQI的预测研究还存在较多不足。
本文基于高速铁路工务设备大数据应用平台[12]，利用TQI检测数据，结合时间、空间等维度的变化特征，构建用来预测TQI的3D卷积神经网络模型。同时，为了验证模型的准确性与有效性，将3D卷积神经网络模型与BP神经网络、卷积神经网络进行了对比试验。试验结果表明，结合了时间、空间等多种特征的3D卷积神经网络对TQI的预测精度较高，为高铁轨道质量评估和预测提供新的思路。
1 TQI预测模型流程及构建
1.1 TQI预测模型流程
3D卷积神经网络构建的TQI预测模型整体流程主要包括数据选取、数据集构建、训练模型、模型评估4部分，如图1所示。
其中，m为当前检测数据的月份；k为当前检测数据的里程。
1.2 TQI特征数据集构建
用于模型训练的TQI数据分别以检测项、时间、空间3个不同维度，对数据进行整合处理。
（1）检测项：在3D卷积神经网络中不仅利用7项检测指标的标准差之和，且将每项检测指标都作为模型的特征参数，利用原始特征提高模型的预测能力。
（2）时间：时间维度通常反应某区段的轨道状态的连续变化情况。通过对时间维度的提取，可以更好的挖掘设备在不同月份、不同维修周期、不同运营状态下的变化情况，提高模型预测的准确度。以某高铁线上行K100处2018年数据为例，7项检测项与TQI变化情况如图2所示。
（3）空间：由于单个区间的数据变化难以反应整体情况，故本文引入空间特征。通过邻近的多区段检测数据，挖掘预测区段受周边环境、地质变化等特征的影响。某线路上行5个相邻区段TQI变化情况如图3所示。
通过多维特征的整合，将某高铁线的K100 ~ K100.8区段5个月份7项检测指标数据形成的特征矩阵可视化至三维散点图中，如图4所示。
其中，x轴为检测项；y轴为检测时间；z轴为检测区段；散点大小代表对应监测项的检测值大小。
1.3 3D卷积神经网络构建
本文用于构建TQI预测模型的3D卷积神经网络共8层，包括1层输入层、2层3D卷积层、2层3D池化层、1层2D卷积层、1层2D池化层、1层全连接层。具体网络模型结构如表1所示。
表 1 3D卷积神经网络结构层数 核结构 卷积步长 激活函数 输出形状 输入层 / / / 5*5*7 3D卷积层1 32*(5*5*7) 1*1*1 Mish 5*5*7 3D池化层1 2*2*2 4*2*2 / 2*3*4 3D卷积层2 64*(2*4*6) 1*1*1 Mish 2*3*4 3D池化层2 2*2*2 4*2*2 / 1*2*2 2D卷积层1 128*(1*2*2) 1*1 Mish 1*2*2 2D池化层1 2*2 1*1 / 2*2 全连接层 / / Sigmoid 1 神经网络内部卷积及池化层模型如图5所示。
图中最上方为卷积或池化层数，下方为输入到下一层卷积的数据集矩阵特征形状。
2 TQI预测3D卷积神经网络优化
为更好地进行TQI预测，除使用L1正则化防止过拟合之外，本文在模型参数初始化、学习速率、激活函数、损失函数、Dropout方法等方面，对传统的3D卷积神经网络进行了优化。
2.1 训练模型参数初始化
若仅将训练模型全部初始化为0，则可能导致在反向传播时，参数无法减小，依然全部为0，从而导致大量节点失效。为更好地预测TQI，本文采用了Xavier方法[13]，其初始化公式如下：
$${{w}} \sim U\Biggr( - \sqrt {\frac{6}{{{n_{in}} + {n_{out}}}}} ,\sqrt {\frac{6}{{{n_{in}} + {n_{out}}}}}\Biggr )$$ (1) 其中，
${n_{in}}$ 、${n_{out}}$ 分别为输入层和输出层神经元个数；初始化参数矩阵w中每个神经元的分布范围应该处于U之间，并随机产生，从而消除梯度弥散或梯度爆炸问题。2.2 学习速率优化
为在获得较快训练速率的同时，也可获得最优解，神经网络采用了公式（2）对学习速率进行设置。
$$lr = \delta \cdot {e^{ - \alpha \cdot epoch}} \left(\beta \cdot {\log ^{{\rm{MAE}}}}\right)$$ (2) 其中，
$\delta $ 、$\alpha $ 、$\;\beta$ 为训练参数；epoch为训练迭代次数；MAE为平均绝对误差。当误差增加时，学习速率增大，当误差减小时，学习速率降低。通过对$\delta $ 、$\alpha $ 、$\;\beta$ 的调整，可获得对神经网络的最佳自适应学习速率。2.3 激活函数优化
每个卷积层的激活函数都用Mish函数代替常用的ReLU函数，Mish计算公式如下：
$$Mish = x\cdot tanh\left( {ln\left( {1 + {e^x}} \right)} \right)$$ (3) Mish函数曲线如图6所示。
相比于ReLU函数，Mish函数具有两个特性：（1）可避免因封顶而饱和或过硬的0边界；（2）较好的平滑性保证了特征信息更好的传递。
2.4 损失函数优化
本文选用Huber损失函数，其结合了均方误差（MSE）和MAE的最佳特性。对于较小的误差采用线性损失，对于较大误差则采用二次损失，其函数如下：
$$ {L_\delta } = \left\{ {\begin{array}{*{20}{l}} {\dfrac{1}{2}{{(y - \hat y)}^2},if|y - \hat y| < \delta }\\ {\delta |y - \hat y| - \dfrac{1}{2}{\delta ^2},{{ otherwise }}} \end{array}} \right. $$ (4) 其中，
$y $ 为真实结果；$\hat y $ 为模型预测结果；δ为超参数，且将在模型训练过程中自动优化。2.5 采用Dropout方法
为在防止训练过拟合的同时加快训练速度，本文在神经网络训练过程中在全连接层采用Dropout方法，每次随机选取95%的神经元参与预测以防止过拟合。Dropout在训练过程中的公式如（5）~（7）所示：
$$r_{}^{(l)} \sim {\rm{Bernoulli(}}p{\rm{)}}$$ (5) $${\tilde y^{(l)}} = {r^{(l)}}\cdot {y^{(l)}}$$ (6) $$ {y^{(l + 1)}} = f\left({w^{(l + 1)}}{\tilde y^{(l)}} + {b^{(l + 1)}}\right) $$ (7) 其中，Bernoulli函数为概率随机函数，将以p的概率对全连接层所有神经元进行随机生成0或1，若当次训练神经元被随机为0，则该神经元停止工作；
${{{r}}^{(l)}}$ 为第l层激活神经概率矩阵；$ {y^{(l)}}$ 为第l层神经元输入向量；$ {{\tilde y}^{(l)}}$ 为第l层神经网络实际输入向量；$ {w^{(l + 1)}}$ 为权重矩阵；$ {b^{(l + 1)}}$ 为偏移矩阵；$ f\left( x \right)$ 为正向传播函数。3 实验与分析
3.1 实验环境与实验数据
神经网络评估环境选用Win10系统，CPU为i7–8700 3.20 GHz，16 GB内存，语言环境为Python 3.6.6，深度学习框架为TensorFlow1.3，训练可视化组件为TensorBoard，结果可视化组件为ECharts。本文利用上述环境搭建并测试基于3D卷积神经网络的高铁TQI预测模型。
选用某高铁线路的检测结果数据作为评估数据集。用前17个月的11952条数据构建训练集，第18个月的996条数据组成测试集，进行模型评估。
3.2 评估标准
预测未来一个月的TQI数据是一种回归问题，对于TQI预测的评估标准主要包含以下两点。
（1）MAE或平均百分比绝对误差（MAPE），公式如下：
$$MAE(y,\hat y) = \frac{1}{n}\sum\limits_{i = 1}^n {{y_i} - {{\hat y}_i}} $$ (9) $$MAPE(y,\hat y) = \frac{1}{n}\sum\limits_{i = 1}^n {\frac{{{\rm{||}}{y_i} - {{\hat y}_i}||}}{{{\rm{||}}{y_i}{\rm{||}}}}} $$ (10) （2）MSE或均方根误差（RMSE），具体评估公式如下：
$$MSE(y,\hat y) = \frac{1}{n}\sum\limits_{i = 1}^n {||{y_i} - {{\hat y}_i}||_2^2} $$ (11) $$RMSE(y,\hat y) = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {||{y_i} - {{\hat y}_i}||_2^2} } $$ (12) 公式（8）~（11）中，
$y$ 和$\hat y$ 分别为真实TQI与预测TQI；n为测试数据总量。3.3 实验对比与分析
3D卷积神经网络训练过程中，训练节点Dropout为0.95，预测使用全部节点。训练过程整体MSE损失变化如图7所示。
由图7可看出，训练次数迭代约3500次后，模型达到收敛，此时模型的训练MSE约为0.006。
利用训练后的模型进行预测，预测数据与真实数据对比结果如图8所示。
图中，x轴为里程，y轴为TQI值，蓝色折线代表TQI预测值，黄色折线代表TQI真实值。通过图8可看出，蓝色折线与黄色折线拟合度较高，表明该模型可较为准确地预测出TQI的整体变化规律。
将历史月份的TQI数据与预测结果使用3D视图进行可视化展示，结果如图9所示。
图中，X轴为时间；Y轴为里程；Z轴为TQI数值。从图中可看出预测数据走势与历史走势具有很强的关联性，较好地表现了TQI的发展趋势。
本文采用上述数据集，对文献[11]中双隐层BP神经网络、经典的LeNet-5卷积神经网络和本文的3D卷积神经网络从MAE、MAPE、MSE、RMSE 4个指标进行对比，结果如表2、表3所示。
表 2 3类预测方法各指标列表预测方法 评估指标 MAE MAPE MSE RMSE 3D卷积神经网络 0.182 5.44% 0.039 0.1979 LeNet-5卷积神经网络 0.247 7.39% 0.065 0.25 双隐层BP神经网络 0.31 9.31% 0.11 0.33 表 3 3类预测方法指标对比方法对比 误差减少（%） MAE MAPE MSE RMSE 3D卷积神经网络相比于LeNet-5卷积神经网络 26.32 26.32 39.93 22.48 3D卷积神经网络相比于双隐层BP神经网络 41.48 41.48 65.42 41.19 由表2、表3可知，相比双隐层BP神经网络，3D卷积神经网络MAE和MAPE降低了41.48%，MSE降低了65.42%，RMSE误差降低了41.19%。相比经典的LeNet-5卷积神经网络，MAE和MAPE降低了26.32%，MSE降低了39.93%，RMSE降低了22.48%。对比结果表明，3D卷积神经网络有更好的拟合能力及稳定性。
4 结束语
为了更为准确地预测高铁线路TQI，本文提出了利用TQI检测数据时空特征的3D卷积神经网络模型，并以某高铁线路历史检测数据作为实验数据，进行实验验证对比并得出以下结论：（1）利用3D卷积神经网络可以更好的提取时间、空间等传统方法难以提取的数据特征；（2）与BP神经网络、2D卷积神经网络相比，3D卷积神经网络对TQI预测结果的MAE、MSE等都有显著降低。
综上，3D卷积神经网络在大范围、长时间的TQI变化趋势预测上取得较好的效果，但本文未完全考虑换轨、精调等维修手段对TQI造成的影响，下一步研究应将此类影响作为特征，纳入预测模型。
-
表 1 3D卷积神经网络结构
层数 核结构 卷积步长 激活函数 输出形状 输入层 / / / 5*5*7 3D卷积层1 32*(5*5*7) 1*1*1 Mish 5*5*7 3D池化层1 2*2*2 4*2*2 / 2*3*4 3D卷积层2 64*(2*4*6) 1*1*1 Mish 2*3*4 3D池化层2 2*2*2 4*2*2 / 1*2*2 2D卷积层1 128*(1*2*2) 1*1 Mish 1*2*2 2D池化层1 2*2 1*1 / 2*2 全连接层 / / Sigmoid 1 
下载: 导出CSV
表 2 3类预测方法各指标列表
预测方法 评估指标 MAE MAPE MSE RMSE 3D卷积神经网络 0.182 5.44% 0.039 0.1979 LeNet-5卷积神经网络 0.247 7.39% 0.065 0.25 双隐层BP神经网络 0.31 9.31% 0.11 0.33
下载: 导出CSV
表 3 3类预测方法指标对比
方法对比 误差减少（%） MAE MAPE MSE RMSE 3D卷积神经网络相比于LeNet-5卷积神经网络 26.32 26.32 39.93 22.48 3D卷积神经网络相比于双隐层BP神经网络 41.48 41.48 65.42 41.19
下载: 导出CSV
-
[1] 汤国防. 铁路轨道几何不平顺变化特征及其预测模型研究[D]. 北京: 北京交通大学, 2010. [2] 张 念. 铁路轨道几何不平顺趋势预测的关键算法研究[D]. 成都: 西南交通大学, 2015. [3] 潘海泽,黄远春,汪 磊,等. 基于灰色GM(1, 1)和灰色-马尔可夫模型的轨道几何不平顺预测及应用研究 [J]. 铁道标准设计,2010(10):5-9. DOI: 10.3969/j.issn.1004-2954.2010.10.002 [4] 宋博洋. 基于时间序列模型的轨道质量指数预测研究 [J]. 山东科学,2014,27(3):66-72. DOI: 10.3976/j.issn.1002-4026.2014.03.013 [5] 韩 晋,杨 岳,陈 峰,等. 基于非等时距加权灰色模型与神经网络的轨道不平顺预测 [J]. 铁道学报,2014,36(1):81-87. [6] 冯 超,余朝刚,孙 雷,等. 基于改进GM(1, 1)与WOA-LSSVM组合预测模型的轨道不平顺预测 [J]. 铁道标准设计,2019,63(4):34-39. [7] 王建西,李海锋,许玉德. 基于概率分布推移变化的铁路轨道几何状态评价与预测方法 [J]. 中国铁道科学,2008(5):31-34. DOI: 10.3321/j.issn:1001-4632.2008.05.006 [8] Tanaka H, Yamamoto S, Oshima T, et al. Methods for Detecting and Predicting Localized Rapid Deterioration of Track Irregularity Based on Data Measured with High Frequency [J]. Quarterly Reports of RTRI, 2018, 59(3): 169-175. DOI: 10.2219/rtriqr.59.3_169
[9] Falamarzi A, Moridpour S, Hesami R, et al. Rail Degradation Prediction Models for Tram System: Melbourne Case Study [J]. Journal of Advanced Transportation, 2018(Pt. 2): 407-414.
[10] Guler H. Prediction of railway track geometry deterioration using artificial neural networks: a case study for Turkish state railways [J]. Structure and Infrastructure Engineering, 2014, 10(5): 614-626. DOI: 10.1080/15732479.2012.757791
[11] 彭丽宇,张进川,苟娟琼,等. 基于BP神经网络的铁路轨道几何不平顺预测方法 [J]. 铁道学报,2018,40(9):154-158. DOI: 10.3969/j.issn.1001-8360.2018.09.021 [12] 杨怀志,吴艳华,程智博. 基于铁路数据服务平台的高速铁路工务设备大数据应用研究 [J]. 铁路计算机应用,2018,27(7):93-97. [13] 张 颖,袁和金. 基于3D卷积神经网络的人体行为识别方法 [J]. 软件导刊,2017,16(11):9-11. -
期刊类型引用(2)
1. 沙淼，张可心，刘志刚，邱瑞昌，陈杰. 基于目标速度追踪的城轨列车节能优化算法. 都市快轨交通. 2023(06): 40-48 . 
百度学术
2. 马阳阳，孟学雷，贾宝通，任媛媛，秦永胜. 基于列车运行时间偏差惩罚的高速列车节能优化方法. 交通信息与安全. 2021(04): 84-91 . 百度学术
其他类型引用(13)
计量
- 文章访问数: 108
- HTML全文浏览量: 276
- PDF下载量: 28
- 被引次数: 15
