Intelligent question answering knowledge subgraph matching of high-speed train component and parts knowledge graph
-
摘要: 为应对高速列车零部件知识复杂、海量且多层级的特点，提高高速列车零部件知识图谱智能问答的效果，提出了一种基于情景感知和分类模型的高速列车零部件知识图谱智能问答知识子图匹配模型。该模型通过情景模型进行情景特征提取及向量转换；再将词向量和情景向量相融合，输入到BERT（Bidirectional Encoder Representation from Transformers）模型中，进行用户问句的所属知识域分类，分类结果即为知识子图匹配的结果。经试验证明，所提模型与其他主流分类模型相比，各项性能指标更优。Abstract: In order to address the complexity, magnanimity, and multi-level characteristics of high-speed train components and parts knowledge, and improve the effectiveness of intelligent Q&A for high-speed train components and parts knowledge graph, this paper proposed a knowledge subgraph matching model of high-speed train components and parts knowledge graph based on situational awareness model and classification model. This model extracted scene features and transformed vectors through situational model, fused the word vector and situational vector, input them into the Bidirectional Encoder Representation from Transformers (BERT) model, and classified the knowledge domain to which the user question belongs. The classification results were the results of knowledge subgraph matching. Experimental results show that the proposed model has better performance indicators in all aspects compared with other mainstream classification models.
-
知识图谱的智能问答中最关键的一步是识别用户的问句意图，并根据意图进行知识图谱中知识的定位。但高速列车零部件知识存在海量、复杂及多层级性的特点，高速列车零部件知识图谱智能问答系统（简称：问答系统）如果不经由知识的筛选，直接由意图识别模型进行知识定位，会增加检索的复杂度，影响知识图谱智能问答的效果，所以，应先通过知识子图匹配模型进行知识的筛选。知识子图就是知识图谱中与问句相关的部分知识所构成的子图谱。高速列车零部件知识依据情景可被划分为不同知识域，因此，可设定知识子图匹配的目标是将用户问句定位到所属知识域，并将该知识域所包含的知识作为用户问句相关的知识子图，剔除其他知识域的无关知识。依据该思路，可采用分类模型进行用户问句所属知识域的划分，而分类模型的改进则需要依靠情景感知，并基于用户当前所处环境下的情景信息。
国内外研究人员针对如何利用情景感知改进分类模型，从而实现知识子图匹配，展开了众多研究。情景感知研究的核心课题是情景模型的构建。Sheng等人[1]提出了一种面向情景感知的Web服务的建模语言ContextUML；GuermaH等人[2]探索了一种以本体为核心的情景感知服务模式，聚焦于情景元模型的构建与推理过程；SOCAM[3]是一种基于情境感知技术的系统架构，可有效帮助场景的捕获、识别、理解及使用功能；周维琴等人[4]改进了感知机制，依据AutoCAD的特点研究了一种实用性更好的感知模型。目前，应用较为广泛的文本分类模型有Text-CNN模型[5]、Bilstm-CRF模型[6]、BERT（Bidirectional Encoder Representation from Transformers）模型[7]，三者中效果最好的是BERT模型，所以选用该模型作为本文的分类模型，但分类模型如果不结合领域情景信息，其效果在知识子图匹配这样的领域任务中会大打折扣。
因此，本文将情景感知与分类模型相结合，构建高速列车零部件知识图谱智能问答知识子图匹配模型（简称：知识子图匹配模型），将问句的情景因素转化成向量，输入到BERT模型内，从而完成知识子图匹配。
1 高速列车零部件知识图谱
高速列车零部件知识图谱构建流程包括本体构建、知识抽取、知识融合及知识存储等。即先构建高速列车零部件知识本体，再整理数据集，从这些数据集中抽取知识，并将其按知识本体组装成知识三元组后，存进Neo4j图形数据库，从而得到高速列车零部件知识图谱。本文抽取的数据集包含14282条数据，其中，7728条高速列车零部件运行维护（简称：运维）数据、3991条高速列车零部件设计需求数据、2563条高速列车零部件设计参数数据。最终构成知识图谱共包含节点19781个、关系15003条、知识三元组 18835个。高速列车零部件知识图谱的知识本体结构如图1所示。
由图1可看出，本文构建的高速列车零部件知识图谱主要包含高速列车零部件的运维域、设计需求域和设计参数域等3个知识域。由该知识图谱的结构可看出，高速列车零部件的知识存在海量性、多层级及复杂性的特点，每个域内的知识依然存在阶段性特征。因此，本文以高速列车零部件知识图谱的不同知识域为依据，对用户问句进行分类，将其定位到正确知识域，剔除域外的无用知识，实现从知识图谱中匹配到符合问句语义的知识子图。
2 知识子图匹配模型
本文利用知识子图匹配模型进行高速列车零部件知识图谱的知识筛选。该模型包含情景特征提取模块和分类模块2部分，模型架构如图2所示。情景特征提取模块基于情景模型，分类模块基于BERT模型。BERT模型包含用户问句向量提取、向量融合及模型训练等3个步骤，其中，向量提取步骤包括了词向量的提取和情景向量的提取。完成向量提取后，将2者融合后的问句向量输入到BERT模型内，进行问句所属知识域的划分。
2.1 情景特征的提取模块
2.1.1 高速列车零部件知识情景模型构建
高速列车零部件知识情景模型（简称：情景模型）的构建以零部件的相关任务为线索，通过对高速列车零部件情景的抽象化处理，构建多维层次的情境模型，可表达为
$$ PDC={C_iE_j|i=1，2，3， \cdots ， m ;\;\;j=1，2，3， \cdots， n} $$ (1) 其中，PDC 为情景模型，CiEj 表示第 i 个零部件的第 j 个情境要素。
为适应情景感知需要，本文将情景因素提炼为任务、零部件、领域、人员4项，情景模型架构如图3所示。
其中，任务是指用户在运维研发活动中所处的活动阶段，以需求域人员为例，其任务阶段包含需求采集、需求映射等；零部件指当前人员所处理的具体零部件，包含零部件名称及所属结构；领域和人员指当前的任务域，在本文中被细分为3类，即设计需求、设计参数及运维。
2.1.2 情景因素提取
建立情景模型后，需提取用户问句中的情景因素，并将其转化为相应的情景向量。
（1）任务
任务情景因素属于用户问句中不可见的成分，即无法直接从用户问句中提取。因此，本文参考该用户在问答系统中的历史任务。例如，若该用户在问答系统中的上一个任务为需求采集任务，则当前任务很可能为需求采集的下一阶段任务，即需求映射任务；如果无历史任务，则选取符合用户身份的第1阶段任务，以设计需求人员为例，其第1阶段需求采集任务即为该用户的当前任务。
（2）零部件
零部件情景因素指用户当前任务所处理的具体零部件，包括零部件名称及其所属结构。本文采用词典匹配的方式进行此类情景因素的提取，因此，需要建立高速列车零部件实体及其所属结构词典。本文采用从知识图谱中导出所有零部件实体的方式建立实体词典，根据相关规范文档，手动建立每个实体的所属结构，从而建立结构词典。高速列车零部件实体名称及其所属结构词典（部分）如表1所示。
表 1 高速列车零部件实体及其所属结构词典（部分）示意实体名称 所属结构 联轴节 转向架 空气弹簧 构架 托板 构架 （3）人员及领域
人员和领域情景因素都属于用户问句中的不可见成分，但人员情景因素在用户登录问答系统时便会被记录，所以人员情景因素可根据问答系统记录的用户身份进行提取。而领域与用户身份具有密切联系，假设一位用户是零部件的运维人员，则其进行的任务极大概率属于运维领域，所以可认定为运维领域任务。
2.1.3 情景因素向量转化
（1）任务
本文采用分词模型中已进行预训练的词向量对情景因素进行向量转化，该方式能抓取到更多的语义特征，且可与BERT模型的句向量嵌入相契合，任务情景向量公式为
$$ {{\boldsymbol{Mission}}}\_{\boldsymbol{vector}} = \frac{{{\boldsymbol{V}}_{\boldsymbol{1}}^{\boldsymbol{M}} + {\boldsymbol{V}}_{\boldsymbol{2}}^{\boldsymbol{M}} + ... + {\boldsymbol{V}}_{\boldsymbol{N}}^{\boldsymbol{M}}}}{N} $$ (2) 式中，
${{{\boldsymbol{V}}}}_{{{\boldsymbol{i}}}}^{{{\boldsymbol{M}}}}$ 为第 M 个任务阶段中第 i 个字的字向量，i=1,··· , N，N为向量维数。（2）零部件
由于零部件名称向量和所属结构向量维度相同，且其代表了零部件的结构信息，所以将两向量进行加权平均后便得到了零部件情景向量，公式为
$$ {\boldsymbol{Part}}\_{\boldsymbol{vector}} = \frac{{{\boldsymbol{Vecto}}{{\boldsymbol{r}}^{\boldsymbol{p}}} + {\boldsymbol{Vecto}}{{\boldsymbol{r}}^{\boldsymbol{S}}}}}{N} $$ (3) 式中，Vectorp为零部件名称向量；VectorS为零部件所属结构向量。
（3）人员及领域
人员及领域情景因素均被分为运维、设计需求及设计参数3类。较小的类别数及与问句间较小的语义联系使得可用词袋模型对该情景因素进行转化。将原始向量设为[a, b, c]，其中， a 为运维的向量位、b 为设计需求的向量位、c 为设计参数的向量位，根据人员及领域情景因素的值，将相应向量位置设为1，其余位置设为0。
2.2 分类模块
2.2.1 文本向量的提取
文本向量提取的形式化描述为：给定一句文本 S，得出 S 的文本向量序列
${{\boldsymbol{Vector}}}_{{\boldsymbol{s}}}=\left\{{{\boldsymbol{V}}}_{{\boldsymbol{1}}},{{\boldsymbol{V}}}_{{\boldsymbol{2}}},{{\boldsymbol{V}}}_{{\boldsymbol{3}}},\cdots,{{\boldsymbol{V}}}_{{\boldsymbol{N}}}\right\}$ ，在本文中，向量的提取包含情景向量和句向量2部分，因此，N的大小由情景向量的长度和问句长度共同决定。此小节主要阐述问句的句向量提取方式。BERT模型采取字符级嵌入的方式对用户问句文本的句向量进行提取，将用户问句的每个字符的字向量加权平均就得到了句向量。以运维域问句“转向架有哪些故障”为例，其句向量的提取方式如图4所示。
2.2.2 向量的融合
得到用户问句的情景向量和句向量后，需要将两者融合，形成用户问句的总特征向量。因为句向量和情景向量是相互独立的，故本文采用向量拼接的方式实现句向量与情景向量的融合。以高速列车转向架需求设计问句“联轴节的使用寿命需求有哪些具体指标？”为例，假设其句向量为[0, 0, 1]，其情景向量为[X1, X2, 0, 1, 0, 0, 1, 0]，则其总特征向量为[0, 0, 1, X1, X2, 0, 1, 0, 0, 1, 0]。其中，X1、X2分别代表用户问句的任务情景向量和产品情景向量。
2.2.3 BERT模型数据集及预测
（1）数据集
BERT模型的训练需要有相应的数据集作支撑。需要构建相应知识域类别所对应的训练问句。数据集构建方式为人工编写对应知识域类别下的问句，共编写4897条问句，其中，非领域类别1021条、运维域类别1472条、设计参数域类别1310条、设计需求域类别1094条，部分训练数据的形式如表2所示。
表 2 训练数据（部分）训练问句 知识域类别 今天天气如何？ 非领域问句 转向架如何修？ 运维域问句 转向架需求型？ 需求域问句 转向架参数型？ 设计参数域问句 将训练数据集进行向量转化后，输入到BERT模型内进行训练，完成模型的构建。
（2）模型预测
BERT模型训练完成后，可利用其进行问句所属知识域的预测。BERT模型依据问句的特征向量，计算并得出每个知识域类别在此特征向量下的权重，权重最高的知识域类别即为该用户问句所对应的知识域类别。以高速列车运维域问句“转向架有哪些故障”为例，BERT模型依据其特征向量，计算出各个知识域类别的权重分别为：非领域问句0.03、运维域问句0.88、设计需求域问句0.06、设计参数域问句0.03，因此，将该问句划分为运维域问句。问答系统可依据其知识域类别将“转向架”相关的运维域知识提交到下一板块进行后续处理，从而剔除与运维域无关的知识（如设计参数域及设计需求域的知识），避免在进行具体知识定位时知识数量过大的情况。
3 实验设置及结果分析
3.1 评价指标和对比模型选择
知识子图匹配问题的本质是文本多分类问题。常见评价指标为准确率（Accuracy） 、精确率（Precision）、召回率（Recall）和F1值（F1-score）。本文采取的评价指标是在上述指标的基础上形成的宏准确率、宏召回率和宏F1 值。宏指标是取所有类别的统一评价指标的算数平均值。
为验证模型的有效性， 本文测试了单BERT模型，以及其他研究者提出的Kg-BERT和K-BERT模型对高速列车零部件知识问句的知识域分类效果。
3.2 实验设计与结果评估
本文的实验步骤为：（1）使用本文的向量转化策略将数据集中的文本向量化；（2）将数据集的85%作为模型训练的训练集，15%作为测试集；（3）使用本文模型及单BERT模型、Kg-BERT模型、K-BERT模型等 4种多分类模型基于数据集进行训练；（4）将测试数据输入到训练好的模型内进行分类效果比对。
本文模型与其他模型的分类效果比对如表3所示。由表3可知，本文模型的评价指标优于其余模型，在执行高速列车零部件知识图谱智能问答知识子图匹配的任务上具有先进性。
表 3 4种模型实验结果对比模型 宏精确率 宏召回率 宏F1值 Kg-BERT 0.97 0.97 0.96 K-BERT 0.94 0.93 0.93 BERT 0.93 0.91 0.92 BERT+情景向量 0.98 0.98 0.96 4 结束语
本文提出了一种高速列车零部件知识图谱智能问答的知识子图匹配模型。该模型通过情景模型进行情景特征提取及向量转换；再将词向量和情景向量相融合输入到BERT模型中，进行用户问句的所属知识域分类，分类结果即为知识子图的匹配结果。经试验证明，本文模型能够满足高速列车零部件知识图谱智能问答知识子图匹配的需求，且模型分类性能要优于未融合情景向量的其他通用分类模型，具有参考价值。
-
表 3 4种模型实验结果对比
模型 宏精确率 宏召回率 宏F1值 Kg-BERT 0.97 0.97 0.96 K-BERT 0.94 0.93 0.93 BERT 0.93 0.91 0.92 BERT+情景向量 0.98 0.98 0.96 
下载: 导出CSV
-
[1] Sheng Q Z, Benatallah B. ContextUML: a UML-based modeling language for model-driven development of context-aware Web services[C]//International Conference on Mobile Business, 11-13 July, 2005, Sydney, Australia. New York: IEEE, 2005. 206-212.
[2] Guermah H, Fissaa T, Hafiddi H, et al. A semantic approach for service adaptation in context-aware environment [J]. Procedia Computer Science, 2014(34): 587-592. DOI: 10.1016/j.procs.2014.07.077
[3] Gu T, Pung H K, Zhang D Q. A service-oriented middleware for building context-aware services [J]. Journal of Network and Computer Applications, 2005, 28(1): 1-18. DOI: 10.1016/j.jnca.2004.06.002
[4] 周维琴,石广田. 基于AutoCAD的协作虚拟感知技术的实现 [J]. 机械设计与制造,2007(10):183-185. DOI: 10.3969/j.issn.1001-3997.2007.10.078 [5] 韦斯羽,朱广丽,谈光璞. 融合Text-CNN与注意力机制的特产小吃评论情感分析 [J]. 阜阳师范大学学报(自然科学版),2023,40(1):57-63. [6] 杜文然,靳 征,代明睿,等. 基于RoBERTa-BiLSTM-CRF模型的铁路货运一口价议价策略命名实体识别 [J]. 铁路计算机应用,2023,32(5):11-15. DOI: 10.3969/j.issn.1005-8451.2023.05.03 [7] 杜 林,许传淇. 基于BERT的漏洞文本特征分类技术研究 [J]. 信息安全研究,2023,9(7):687-692.
计量
- 文章访问数: 108
- HTML全文浏览量: 42
- PDF下载量: 41
