Named entity recognition of railway freight competitive pricing strategy based on RoBERTa-BiLSTM-CRF model
-
摘要: 为提升铁路货运审计工作的效率，针对铁路货运一口价议价策略（简称：一口价策略）的文本数据，设计了基于数据增强的RoBERTa（Robustly optimized Bidirectional Encoder Representation from Transformers）-BiLSTM（Bidrectional Long Short Term Memory）-CRF（Conditional Random Field）模型，介绍了数据标注策略，详细阐述了模型的总体架构和样本数据增强方法。对所设计的模型进行了应用验证，验证结果表明， RoBERTa-BiLSTM-CRF模型对一口价策略中命名实体识别的各项性能评价指标较其他2种传统模型均有显著提高，能够更准确地识别一口价策略中的命名实体信息，辅助铁路货运审计人员的审计工作。
-
关键词:
- 铁路货运 /
- 货运审计 /
- RoBERTa-BiLSTM-CRF模型 /
- 数据增强 /
- 实体识别
Abstract: In order to improve the efficiency of railway freight audit work, this paper focused on the text data of railway freight competitive pricing strategy and designed a RoBERTa (Robustly optimized Bidirectional Encoder Representation from Transformers) -BiLSTM (Bidrectional Long Short Term Memory) -CRF (Conditional Random Field) model based on data augmentation, introduced the data annotation strategy and elaborated on the overall architecture of the model and the sample data enhancement method, conducted application validation on the designed model. The validation results show that the performance evaluation indicators of named entity recognition in railway freight competitive pricing strategy of the RoBERTa-BiLSTM-CRF model are significantly improved compared to the other two traditional models, which can more accurately identify named entity information in the railway freight competitive pricing strategy and assist railway freight auditors in their audit work. -
近年来，铁路货运运量持续增长，货运收入在铁路运输总收入中的比重不断增大。为获取较大的市场占有率和较好的利润增长速度，中国国家铁路集团有限公司（简称：国铁集团）及各铁路局集团公司根据运输需求、竞争行业货物运价变化等市场行情动态，制定了一系列铁路货运一口价议价策略（简称：一口价策略）[1]。作为铁路企业内部经济监督和独立评价机制的重要组成部分，铁路审计人员需要审查货物运价实际执行情况与规定的一口价策略是否一致。
一口价策略以非结构化文本形式存储，审计人员在审查货物运价实际执行情况与规定的一口价策略是否一致时，需要通过繁琐的人工操作，将一口价策略信息从文本数据中抽取出来，无法将一口价策略文本数据高效地转化为信息，制约了审计作业效率的提升。
命名实体识别技术可从自然语言文本中识别出相关或特定意义的实体信息，并进行结构化处理。目前，基于传统机器学习方法的条件随机场（CRF ，Conditional Random Field）模型[2]、深度学习与CRF相结合的双向长短时记忆 （BiLSTM ，Bidrectional Long Short Term Memory）-CRF模型[3]、卷积神经网络（CNN ，Convolutional Neural Network）-BiLSTM-CRF模型[4]，以及通过Attention机制直接对文本序列建模的Transformer模型等在命名实体识别领域均有较好的性能表现[5]。
在航空领域，汪政等人[6]设计了基于中文分词和实体解析的航变信息提取模型，提高了航班实体信息识别准确率；在电力领域，杨炜等人[7]建立了基于半监督学习的电网设备故障报告实体信息提取模型，有效减少了电网领域命名实体识别对人工标注的依赖；在桥梁病害检测领域，李韧等人[8]基于Transformer-BiLSTM-CRF模型，识别出桥梁检测文本中的桥梁结构构件和检测病害等关键业务信息，促进了桥梁管理养护的智能化发展。在铁路文本数据命名实体识别方面，目前已有许多学者开展了应用研究。赵瑞晨[9]构建了基于字嵌入+BiLSTM+CRF的铁路事故文本命名实体识别模型，可有效识别铁路事故命名实体；李新琴等人[10]以高速铁路信号设备故障文本数据为基础，建立了故障知识自动抽取模型，为高速铁路设备故障诊断提供了知识库；杨连报等人[11]通过构建BERT（Bidirectional Encoder Representation from Transformers）-BiLSTM-CRF模型，实现了对铁路故障文本向量的计算和识别，以此得到铁路文本命名实体识别结果信息。
在一口价策略实体信息识别方面，目前开展的研究工作较少。本文基于上述研究，针对一口价策略文件的数据特点，提出RoBERTa（A Robustly Optimized BERT）-BiLSTM-CRF模型，实现对一口价策略命名实体信息的自动识别。
1 一口价策略文本数据说明及标注策略
1.1 数据说明
一口价议价策略以文本数据的形式保存，主要包括项目号、托运人、运费价差系数、考核运量、考核时间等相关信息[12]。同一铁路局集团公司的一口价策略文件的行文方式相似，但不同铁路局集团公司间的文件存在较大差异，增加了文本内容的复杂性和多样性。从一口价策略的文本数据中提取出审计信息，并生成结构化二维数据表，是对货物运价实际执行情况进行高效审查的重要步骤。
1.2 命名实体信息定义及标注
为审查货物运价实际执行情况与规定的一口价策略是否一致，本文定义了一口价策略命名实体信息，如表1所示[12]。
表 1 一口价策略命名实体信息列表序号 实体名称 标注标识 序号 实体名称 标注标识 1 项目号 N（Number） 7 新增发站站名 NS（New-Start） 2 托运人 P（People） 8 取消发站站名 CS（Cancel-Start） 3 价差系数 C（Coefficient） 9 到站站名 A（Arrive） 4 考核有效期 T（Time） 10 新增到站站名 NA（New-Arrive） 5 考核运量 F（Freight） 11 取消到站站名 CA（Cancel-Arrive） 6 发站站名 S（Start） 对命名实体信息进行定义后，需进行数据标注。本文采用某铁路局集团公司2019—2021年的一口价策略文件作为数据集，使用BIO（Beginning，Inside，Outside）标注方案对其进行标注。其中，B（Beginning）标注实体的开始部分；I（Inside）标注实体的中间部分；O（Outside）标注与实体无关的信息。
2 模型设计
本文设计的RoBERTa-BiLSTM-CRF模型分为RoBERTa层、BiLSTM层和CRF层，模型架构如图1所示。其中，RoBERTa层利用RoBERTa模型 [13]，将一口价策略文本数据转换为特征向量；BiLSTM层使用BiLSTM神经网络，学习文本中的上下文特征信息，输出命名实体类别分数值；CRF层对BiLSTM层的输出结果进行修正，并输出命名实体类别。
2.1 RoBERTa层
在将一口价策略文件的文本数据输入BiLSTM层前，需要对训练样本进行向量化表示。BERT模型是一个基于Transformer处理单元的预训练模型 [14]，具有丰富的先验语义知识，能够使不同语句序列中相同的单词获得不同的语义表示，解决传统文本表示模型存在的不能动态进行特征表示及特征表示能力不足等问题。本文采用的RoBERTa模型在BERT模型基础上进行了改进，主要包括：在规模更大的公开数据集上进行预训练；对BERT模型的训练策略进行了优化，使其具有更多的模型参数。RoBERTa层架构如图2所示，
$ {W_i} $ 代表输入的汉字。2.2 BiLSTM层
BiLSTM神经网络既能提取当前时刻之前的信息，又能利用当前时刻之后的信息，因此，本文利用该神经网络来学习一口价策略文件中的上下文信息。BiLSTM神经网络由前向LSTM层和后向LSTM层组成，输出结果为每个字符属于每个实体类别的分数值，BiLSTM层架构如图3所示。
2.3 CRF层
CRF层的作用是对BiLSTM层的输出结果进行修正。若一句话有
$ n $ 个字，每个字有$ m $ 种可能的标签，则这句话可能的标签序列共有$ {m^n} $ 个。CRF层通过学习标签序列之间的相邻依赖关系，给每一个可能的标签序列打分，得分最高的即为最优标签序列，并以此确定命名实体类别。设一个输入序列为
$ X = \{ {x_1},{x_2}, \cdots ,{x_n}\} $ ，$ {x_i} $ 为序列 X 中的第 i 个输入文字，$ i = 1,2, \cdots ,n $ ，其对应的模型预测标签序列为$ \hat y = \{ {\hat y_1},{\hat y_2}, \cdots ,{\hat y_n}\} $ ，$ {\hat y_i} $ 表示模型预测出$ {x_i} $ 对应的标签概率向量，则该预测序列标签的得分为[11]$$ Score(X,\hat y) = \sum\limits_{i = 1}^n {{W_{{{\hat y}_i},{{\hat y}_{i + 1}}}}} + \sum\limits_{i = 1}^n {{P_{_i,{{\hat y}_i}}}} $$ (1) 其中，
$ W $ 表示状态转移矩阵，是CRF层的学习参数，$ {W_{{{\hat y}_i},{{\hat y}_{i + 1}}}} $ 表示$ {\hat y_i} $ 转移到$ {\hat y_{i + 1}} $ 的概率得分；将BiLSTM层的输出作为矩阵P，$ {P_{i,{{\hat y}_i}}} $ 是第 i 个字符被标记为$ {\hat y_i} $ 的概率得分。通过求$ Score(X,\hat y) $ 的最大值可得到最优标签序列。3 应用验证
3.1 数据增强
为提高模型的训练效果，本文采用以下2种方法进行训练样本数据增强。
3.1.1 基于同类型实体替换的数据增强
同类型实体替换是指将样本中某个实体随机替换为另一个同类型的实体，具体步骤为：（1）通过人工标注提取出一口价策略文本中的命名实体信息，并分类保存；（2）对一句话中的同类型命名实体信息进行替换，将替换后的样本作为扩展样本保存。例如
样本1：项目号[000001]项目号：新增到站[A]新增到站站名站。
样本2：项目号[000002]项目号：新增发站[B]新增发站站名站，新增到站[C]新增到站站名站。
用样本2的新增到站站名替换样本1中的新增到站站名，得到扩展样本1：项目号[000001]项目号：新增到站[C]新增到站站名站。
3.1.2 基于随机噪声的数据增强
基于同类型实体替换的数据增强会增加训练样本中语句的相似性，使得模型训练易出现过拟合。为防止上述情况，并增强模型的泛化能力，本文在非命名实体信息的位置上添加随机噪声。常用的随机噪声方法包括随机删除单词、随机插入单词、同音字替换、颠倒用字顺序等。一口价策略文件的文本数据中包含命名实体信息的语句密度较大，不适合随机删除单词。本文采用在非命名实体信息的位置随机插入停用词（本文停用词采用哈工大的停用词表）的方法来增加训练样本的噪声。例如
样本3：项目号[000003]项目号：[A]发站发往[B]到站的[货物C]货物品名，实施竞争性一口价，考核运量[D吨/月]考核运量。
在样本3的非实体位置插入停用词，得到扩展样本3：项目号[000003]项目号：{对于}插入停用词[A]发站发往[B]到站的[货物C]货物品名，实施竞争性一口价，考核运量[D吨/月]考核运量。
3.2 模型训练
本文采用Tensorflow 2.3框架，将增强后的数据输入到RoBERTa-BiLSTM-CRF模型中。将模型的 Batch_size设为5，句子序列长度设置为1024。使用RoBERTa模型进行字向量转换，隐藏层维度设为128，学习率设为0.00001；BiLSTM神经网略的隐藏层神经元个数设为100，Dropout设为0.5，优化器采用Adam优化算法，学习率设为0.0002。训练过程中，损失函数的变化如图4所示。
由图4可知，随着训练轮数的增加，损失函数的值不断下降并趋于平稳，说明基于以上参数设置的RoBERTa-BiLSTM-CRF模型训练达到了收敛状态。
3.3 评价指标
本文采用准确率P、召回率R和F值F作为模型性能的评价指标，3者的值越大代表模型的性能越好，计算公式分别为
$$ P=\frac{正确识别的命名实体数}{识别出的命名实体数} \cdot 100{\text{%}} $$ (2) $$ R=\frac{识别的命名实体数}{文本包含的命名实体数}\cdot100{\text{%}} $$ (3) $$ F = \frac{{2\cdot P\cdot R}}{{P + R}}\cdot 100{\text{%}} $$ (4) 3.4 模型试验及对比分析
3.4.1 模型性能对比分析
本文选取某铁路局集团公司2019年一口价策略文本数据作为测试集，分别使用BiLSTM-CRF模型、BERT-BiLSTM-CRF模型和本文的RoBERTa-BiLSTM-CRF模型进行货物运价命名实体识别，计算得出的评价指标结果如表2所示。
表 2 模型评价指标对比模型名称 P R F BiLSTM-CRF 89.38% 90.10% 89.74% BERT-BiLSTM-CRF 91.15% 90.29% 90.72% RoBERTa-BiLSTM-CRF 94.69% 92.52% 93.59% 由表2可知，本文RoBERTa-BiLSTM-CRF模型的P、R和F相较于BiLSTM-CRF模型和BERT-BiLSTM-CRF模型均有一定程度的提升。对比结果表明，本文模型对于一口价策略中的命名实体有更好的识别效果。
3.4.2 样本数据对比分析
为验证数据增强后的训练样本对模型识别准确度的影响，本文分别使用未进行数据增强的训练样本和数据增强后的训练样本对RoBERTa-BiLSTM-CRF模型进行训练，并使用3.4.1中的测试数据对模型性能进行测试，测试结果如表3所示。
表 3 基于不同训练样本的模型的评价指标对比训练样本 P R F 未增强 87.61% 88.89% 88.25% 已增强 94.69% 92.52% 93.59% 由表3可知，采用数据增强后的样本进行训练的RoBERTa-BiLSTM-CRF模型在测试集上的P、R及F分别提高了7.08%、3.63%、5.34%，对一口价策略文件命名实体的识别效果有显著提升。
4 结束语
一口价策略命名实体识别是铁路货物运价审计中的重要内容。本文基于RoBERTa-BiLSTM-CRF模型，对一口价策略中的命名实体信息进行自动识别，同时，对训练数据集进行数据增强，扩大训练样本的规模，提高模型的命名实体识别准确性。与BiLSTM-CRF和BERT-BiLSTM-CRF模型相比，RoBERTa-BiLSTM-CRF模型的命名实体识别效果得到显著提升。
本模型对于多个策略合并或有梯度调整措施的一口价策略命名实体信息的识别效果不理想，后续可通过收集更多年份、更多铁路局集团公司的一口价策略文本数据来丰富训练样本的数量，提升模型训练效果。
-
表 1 一口价策略命名实体信息列表
序号 实体名称 标注标识 序号 实体名称 标注标识 1 项目号 N（Number） 7 新增发站站名 NS（New-Start） 2 托运人 P（People） 8 取消发站站名 CS（Cancel-Start） 3 价差系数 C（Coefficient） 9 到站站名 A（Arrive） 4 考核有效期 T（Time） 10 新增到站站名 NA（New-Arrive） 5 考核运量 F（Freight） 11 取消到站站名 CA（Cancel-Arrive） 6 发站站名 S（Start） 
下载: 导出CSV
表 2 模型评价指标对比
模型名称 P R F BiLSTM-CRF 89.38% 90.10% 89.74% BERT-BiLSTM-CRF 91.15% 90.29% 90.72% RoBERTa-BiLSTM-CRF 94.69% 92.52% 93.59%
下载: 导出CSV
-
[1] 黄永亮,吴志伟. 基于比价的铁路货运一口价策略研究 [J]. 铁路计算机应用,2021,30(8):24-28. DOI: 10.3969/j.issn.1005-8451.2021.08.05 [2] Lafferty J D, McCallum A K, Pereira F C N. Conditional random fields: probabilistic models for segmenting and labeling sequence data[C]//Proceedings of the Eighteenth International Conference on Machine Learning, 28 June, 2001, San Francisco, USA. New York, USA: Morgan Kaufmann Publishers Inc. , 2001: 282-289.
[3] HUANG Z, XU W, YU K. Bidirectional LSTM-CRF models for sequence tagging[EB/OL].（2015-08-09）[2022-11-04]. https://arxiv.org/abs/1508.01991. [4] Ma X Z, Hovy E. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 7-12 August, 2016, Berlin, Germany. Association for Computational Linguistics, 2016. 1064-1074. [5] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems, 4 December, 2017, Long Beach, USA. Red Hook, USA: Curran Associates Inc. , 2017: 6000-6010.
[6] 汪 政, 张 勇, 金丽丽, 等. 航变信息提取方法及系统: 中国, CN108595430A[P]. 2018-09-28. [7] 杨 祎,崔其会,丁奕齐. 面向电网设备故障报告的半监督命名实体识别方法 [J]. 计算机应用,2021,41(S2):41-47. [8] 李 韧,李 童,杨建喜,等. 基于Transformer-BiLSTM-CRF的桥梁检测领域命名实体识别 [J]. 中文信息学报,2021,35(4):83-91. DOI: 10.3969/j.issn.1003-0077.2021.04.012 [9] 赵瑞晨. 基于深度学习的铁路设备事故数据挖掘与分析[D]. 北京: 北京交通大学, 2020. [10] 李新琴,史天运,李 平,等. 基于文本的高速铁路信号设备故障知识抽取方法研究 [J]. 铁道学报,2021,43(3):92-100. DOI: 10.3969/j.issn.1001-8360.2021.03.012 [11] 杨连报, 王同军, 李新琴, 等. 一种铁路文本命名实体识别方法及装置: 中国, CN111191452A[P]. 2020-05-22. [12] 靳 征. 铁路货运数字化审计分析模型构建探讨 [J]. 铁道经济研究,2022(5):10-13. DOI: 10.3969/j.issn.1004-9746.2022.05.003 [13] LIU Y, OTT M, GOYAL N, et al. RoBERTa: a robustly optimized BERT pretraining approach [ EB / OL] . ( 2019-07-26) [2022:11-04] .https://doi. org / 10. 48550 / arXiv. 1907. 11692. [14] Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of 2019 Conference of the North American Chapter of the Association for Computational Linguistics, 2-7 June, 2019, Minneapolis, Minnesota. Association for Computational Linguistics, 2018: 4171-4186. -
期刊类型引用(3)
1. 谭宇文，刘瑞敏，王晓东，赵栋，曾雅雯. 基于改进U-Net的单轨受电弓滑块图像分割方法. 轨道交通材料. 2024(04): 63-67 . 
百度学术
2. 张渝，王松，邱春蓉. 基于轮对磨耗数据的CRH2A型动车经济镟修策略研究. 铁路计算机应用. 2021(04): 6-10 . 本站查看
3. 步春辰，王亚平，闫雅斌. 地铁闸机扇门机构故障时间序列预测研究. 铁路计算机应用. 2020(09): 16-20+25 . 本站查看
其他类型引用(6)
计量
- 文章访问数: 140
- HTML全文浏览量: 82
- PDF下载量: 16
- 被引次数: 9
