• 查询稿件
  • 获取最新论文
  • 知晓行业信息
官方微信 欢迎关注

人体姿态检测系统的设计与实现

陈博, 李占文, 杨永成, 钟昊, 宗孝鹏

陈博, 李占文, 杨永成, 钟昊, 宗孝鹏. 人体姿态检测系统的设计与实现[J]. 铁路计算机应用, 2021, 30(4): 56-60.
引用本文: 陈博, 李占文, 杨永成, 钟昊, 宗孝鹏. 人体姿态检测系统的设计与实现[J]. 铁路计算机应用, 2021, 30(4): 56-60.
CHEN Bo, LI Zhanwen, YANG Yongcheng, ZHONG Hao, ZONG Xiaopeng. Design and implementation of human posture detection system[J]. Railway Computer Application, 2021, 30(4): 56-60.
Citation: CHEN Bo, LI Zhanwen, YANG Yongcheng, ZHONG Hao, ZONG Xiaopeng. Design and implementation of human posture detection system[J]. Railway Computer Application, 2021, 30(4): 56-60.

人体姿态检测系统的设计与实现

基金项目: 中国铁路兰州局集团有限公司重点课题(lj-700_1000-20200623-2001)
详细信息
    作者简介:

    陈 博,高级工程师

    李占文,高级工程师

  • 中图分类号: U29 : F530.69 : TP39

Design and implementation of human posture detection system

  • 摘要: 针对铁路岗位监控视频需要大量人力查看的问题,设计并实现了人体姿态检测系统,实现7×24 h不间断智能检测。运用人体姿态检测算法对人体关键点进行提取,构建特征向量,通过支持向量机分类算法得到姿态类别,通过滑动窗口法判断是否有异常行为,当发生异常时进行本地提醒和远程报警。在行车室和机车司机室2种环境下进行测试,结果表明,该方法对于人员异常行为的召回率和准确率均达到97%以上,具有实用价值,可以为铁路岗位管控提供有效方法。
    Abstract: In view of the problem that the railway post monitoring video needs a lot of manpower to view, a human posture detection system was designed and implemented to realize 7 × 24 h uninterrupted intelligent detection.This paper used the human posture detection algorithm to extract the key points of the human body, constructed the feature vector, obtained the posture category through the support vector machine classification algorithm, judged whether there was abnormal behavior through the sliding window method, and carried on the local reminder and remote alarm when there was abnormal. The system was tested in the railway operation room and locomotive cab. The results show that the recall rate and accuracy rate of abnormal behavior are above 97%, which has practical value and can provide an effective method for railway post management and control.
  • 铁路调度应急预案是铁路调度应急指挥的指导性方案,是铁路调度人员应对突发事件的行动指南。铁路调度应急预案管理水平关系调度应急指挥的效率及应急处置的成效。铁路应急处置大多是由多工种业务人员共同参与、配合完成,但全面掌握相关业务知识的专业人员极少,导致应急预案编制缺乏系统性;另一方面,现有的铁路调度应急预案对多源应急信息资源缺乏系统梳理和有效组织,造成相关信息资源整合困难,制约了铁路调度应急预案管理能力。

    目前,国内针对铁路应急预案数字化方案已开展了一些研究。文献[1]提出融合本体与深度学习的应急预案数字化方法,运用深度学习算法,从应急事件消息文本中提取关键信息,并用本体方法对事件处理流程进行分析和梳理,自动生成数字化铁路应急预案;文献[2] 研究提取应急预案指定要素核心内容的数字化预案转化方法,利用工作流引擎实现应急预案编写、评审、发布、使用、修订、废止的全生命周期管理,提高应急预案的适用性与可操作性。

    知识图谱(Knowledge Graph)本质上是一种揭示实体之间关系的语义网络,为海量、异构、动态数据的表达、组织、管理及利用提供一种非常有效方式,可快速、准确地实现信息关联搜索。目前,知识图谱广泛地应用于医疗、政务、电商、金融等领域,为智能问答、商品推荐、金融风险识别等提供实用工具。文献[3]通过语义匹配、图神经网络、路径多跳、逻辑多跳等知识图谱多跳问答推理方法,研究智能问答的解决方式;文献[4]提出“预训练+知识向量服务”模式,设计知识图谱预训练模型,极大地提高了商品分类、同类商品挖掘、商品推荐等应用的性能;文献[5]通过图分析、图挖掘等技术,发现深层风险关联,增强风险账户识别能力。

    本文研究运用知识图谱概念和方法,结合铁路应急救援场景,对铁路调度应急预案所涉及的多源信息资源进行分析和整合,实现相关信息的关联存储与有序组织,为铁路调度应急预案的综合展示与规范化管理提供有利条件。

    知识图谱采用可视化方式,系统、形象地展示领域知识的整体框架、核心概念实体及其关联关系,是一种综合应用数学、图形学、信息可视化技术、信息学等学科的理论方法。

    知识图谱是由节点和边组成的图,节点表示各个知识点,边是知识点之间的关联关系,形成网状知识结构,能够显式、直观地表达知识的关联关系,可有效避免信息遗漏,也便于快速检索相关知识。

    通常,知识图谱采用图数据库实现领域知识的关联存储,相较于关系型数据库,图数据库更适于构建复杂关系网络,使机器具备认知、理解领域知识的能力,实现智能解决业务问题的目的。

    知识图谱的构建过程主要包括知识抽取、知识融合、知识存储3个步骤,从多源信息中抽取概念、属性、关系,并封装成知识单元,融合语义表达不同但表示同一对象的概念、属性,将整理的知识及其关联存储为图。一般将知识图谱划分为实体层和数据层2个层面,采用自顶向下和自底向上相结合的方法进行构建,基本流程如图1所示。

    图  1  知识图谱构建流程

    依照知识图谱的一般构建方法,铁路调度应急预案知识图谱构建过程为:先识别出铁路调度应急预案涉及的相关实体概念,定义其属性及其关系,然后完成铁路调度应急预案数据的抽取、融合与存储。

    实体指的是事物基础、本源的规范化概念,是实际存在的起作用的组织或机构、行为的发起者或执行者。实体是概念、属性、关系的集合,根据经验知识进行概念层次划分、要素属性识别、关联关系定义,完成实体层的构建。

    在铁路调度应急预案中,实体概念主要为应急处置任务的4个核心要素,包括应急事件、与应急处置相关的机构岗位职责、应急处置流程、应急处置评价。

    (1)应急事件是因自然灾害、设备故障等因素对列车运行造成影响,需要调度人员采取故障处置、现场救援等措施实施干预的事件。

    (2)机构岗位职责主要以调度所和应急指挥中心为核心,以二者的管辖机构、平行单位为辐射半径,会合与铁路应急处置相关的路外其他行业机构,机构内设置有应急处置的岗位职责。

    (3)应急处置流程是指对于发生的应急事件,有关部门按其岗位职责需完成的指定任务。按照应急处置流程的不同阶段,将应急处置任务划分为事前、事发、事中、事后4个层次,可为每个阶段设定不同的目标和任务 [6],如表1所示。

    表  1  应急处置流程概念实体的层次划分
    阶段目标任务
    事前预警、应急预备风险监测、应急预警、应急准备
    事发快速启动应急、
    应急通知
    启动应急响应、应急响应信息传递、
    相关人员赶赴现场
    事中高效处置设备调配、车辆抢修、机车运行组织、
    添乘重点列车、旅客疏散
    事后快速恢复、
    总结评价
    应急结束通知、应急总结分析、应急处置评价
    下载: 导出CSV 
    | 显示表格

    (4)应急处置评价是对应急事件综合处理情况的各项评定,包括应急处置流程核心阶段的完成情况评价、相关部门履职情况评价等。

    每个实体具有多个基本属性,其每个基本属性可设置一到多个属性值。

    (1)应急事件实体的属性包括事件类型、等级、发生时间、线路地点、发生原因、影响情况、应急措施等。

    (2)机构岗位职责实体的属性包括部门名称、部门职责、岗位名称、岗位职责、人员信息等。

    (3)应急处置流程实体的属性包括流程名称、流程内容、流程进度等。

    (4)应急处置评价实体的属性包括评价项目、评价标准、评价结果、评价分析等。

    铁路调度应急预案中,除因果、跟随、并发、互斥、顺序等一般实体关系外,还包括表达隶属、协同、信息指令传达等领域业务逻辑的实体关系 [7],各类关系的含义,如表2所示。

    表  2  铁路调度应急预案实体关系含义说明
    关系类型含义
    因果关系某种情况的发生,必然会引发其他一种或多种事情
    跟随关系某一时段内,某一事件发生后,另一件事情跟着发生
    并发关系某一时段内,两个事件同时发生,或先后发生
    互斥关系两种类型的事件不可能同时发生
    顺序关系事件发生的先后顺序
    隶属关系概念层级关系,上下级隶属
    协同关系机构岗位之间的协同合作
    信息指令传达关系信息汇集或指令决策机构将信息、指令传达给接收单位
    下载: 导出CSV 
    | 显示表格

    按照上述实体关系的定义,梳理出如图2所示的铁路调度应急预案知识图谱实体层结构。

    图  2  铁路调度应急预案知识图谱实体层结构

    按照不同知识来源,将铁路调度应急预案涉及的多源异构信息资源进行数据抽取、数据融合与知识存储,构建铁路调度应急预案知识图谱数据层。

    铁路调度应急预案涉及的数据来源较多,数据类型多样。除信息系统的结构化数据外,还有诸如从气象局网站获取的天气信息这类半结构化数据,以及处置现场图像、视频、事后总结分析等的非结构化数据。

    (1)结构化数据一般存储于关系型数据库,因字段定义明确,一般通过设置字段映射规则,实现从数据库中自动抽取实体、属性及关系。

    (2)半结构化数据本身存在一定结构但需要进一步提取整理,可利用包装器(Wrapper)进行抽取,由包装器从HTML网页中爬取数据,并重新组装为结构化数据。

    (3)非结构化数据一般通过已知实体对非结构化内容进行标注,转化为有监督学习的问题[8-9]。图像、视频类非结构型数据可通过实体标注后进行分类抽取;文本型非结构化数据的抽取较为困难,以最小粒度的实体概念属性进行语义相似度校验,将关键信息抽取出来,例如应急规章制度文件中抽取具体场景的规章制度条款。

    对于非结构化文本数据,因中文描述的多样性,相同的内容可能存在多种表述,导致抽取的数据存在冗余。可通过计算语义相似度,对孤立的实体概念、属性和关系进行数据融合处理[10]。以地点和天气为例,非结构化文本数据融合结果前后对比,如表3所示。

    表  3  非结构化文本数据融合示例
    数据融合前抽取的实体概念数据融合后抽取的实体概念
    北京南、北京南普速场、北京南普速到达场北京南普速到达场
    大雨、大到暴雨、强降雨、暴雨大到暴雨
    下载: 导出CSV 
    | 显示表格

    将结构各异的多源数据转化为由开始节点、关系、结束节点3个元素组成的结构化数据,建立关系三元组<实体1,实体关系,实体2>。以跟随关系为例,应急处置流程总是跟随应急事件发生,对应的三元组关系可表示为<应急处置流程,跟随,应急事件>,以此建立实体关系集合。

    对于属性和关系较为丰富的结构化数据,采用图数据库方式存储更有优势[11]。将关系三元组<实体1,实体关系,实体2>中的实体1和实体2存储为节点,属性关系、语义关系存储为边,将结构化知识三元组映射为图中的节点和边,以便于使用图查询语言和图挖掘算法实现基于知识图谱的具体应用[12-13]

    以自然灾害启动应急预案为例,采用上述方法完成应急事件、机构岗位职责、处置流程、应急评价等应急预案核心实体概念及关联关系的形式化表达,将相对孤立、零散的多源数据转化为相互关联的知识结构体,构建铁路调度应急预案的知识图谱。

    鉴于铁路调度应急预案的核心要素与环节较多,内部关系复杂,采用实体结构图对铁路调度应急预案知识体系进行梳理。以自然灾害雾天行车场景为例,对处置过程中各部门岗位职责、关联信息以及外部资源等进行剖析,形成应急预案知识体系,如图3所示。

    图  3  雾天行车场景的应急预案相关实体结构图

    根据应急预案的相关概念实体结构图,对应急预案场景涉及的多源异构数据进行抽取、融合及存储,形成铁路调度应急预案知识图谱。以雾天行车场景为例,铁路调度应急预案知识图谱如图4所示。

    图  4  雾天行车场景的应急预案知识图谱

    针对雾天行车场景的应急预案知识图谱构建好之后,可以便利地综合展示预案相关信息,减少人工查找和汇集信息的工作量,应用如图5所示。

    图  5  雾天行车场景的应急预案展示

    在大雾天气启动应急预案的应用场景中,通过将应急事件与对应场景处置的应急专家、相应故障的应急规章、历史案例及处置流程等多项信息建立起关联,实现了特定类型的应急预案的综合管理。在启动应急响应后,可以迅速参照响应规章制度进行工作部署,按照处置流程的提示逐步执行;处置过程中遇到难题时,能马上联系到具有相应应急救援场景处置经验的专家,召开分析会诊,快速查阅到可供参考历史案例等。

    总之,知识图谱可以根据信息的内在关联性实现应急预案相关信息资源的整合和结构化展示,实现铁路调度应急预案的综合管理,使应急预案相关信息资源的使用更加便利化,更好地支持应急指挥快速决策,支持应急处置工作从容有序开展。

    知识图谱概念和方法为领域知识的提取、融合和组织管理提供了有效的方法。依照知识图谱的构建方法,本文研究提出铁路调度应急预案的概念层次划分、要素属性识别、关联关系定义,将铁路调度应急预案相关信息资源组织成概念明确、结构清晰、联系紧密的知识体系;在此基础上,研究铁路调度应急预案的数据抽取、数据融合与知识存储方法,实现异构多源数据的规范、有序组织与存储,为应急预案相关信息资源的有效利用与综合展示提供良好条件。

    铁路调度应急预案涉及的信息多种多样,目前还没有度量各类信息与应急预案关联的紧密程度,由此造成信息大量存储,不利于数据的高效利用。因此,今后需要对如何量化应急预案数据关联性开展深入研究,以提高铁路调度应急预案的综合管理、自主学习、关联性分析水平,为铁路应急调度指挥提供更加完备、有效的决策参考。

  • 图  1   人体骨架结构

    图  2   Alphapose算法结构

    图  3   SVM分类算法示意

    图  4   滑动窗口法示意

    图  5   系统架构

    图  6   系统检测流程

    图  7   行车室姿态检测效果

    图  8   机车司机姿态检测效果

    表  1   多人姿态检测方法流程及特性[9]

    方法检测流程特性
    自上而下先检测人体位置,再检测骨骼关键点。依赖人体位置检测结果,易出现重复或遗漏检测;算法检测速度与人员数量成正比,在复杂场景下缓慢,但准确率
    更高。
    自下而上先检测人体骨骼关键点,再聚类处理不同个体。算法检测速度与人员数量无关,检测
    速度明显快于自上而下法,但易出现人体骨骼关键点间错误连接。
    下载: 导出CSV

    表  2   设备参数

    名称参数
    CPU8-core ARM v8.2 64 bit CPU
    GPU512-core Volta GPU
    内存32 GB 256 bit LPDDR4
    存储32 GB eMMC 5.1
    系统Ubuntu18.04
    训练环境Pytorch1.1.0, Python3.6, Torchvision 0.3.0
    其它软件OpenCV 3.4.0, CUDA 10.2, TensorRT 7.0.0
    下载: 导出CSV

    表  3   测试统计结果

    评价指标行车室机车室
    准确率召回率准确率召回率
    脱岗99%100%99%100%
    睡觉98%98%98%99%
    躺靠98%97%
    视线脱离前方97%98%
    下载: 导出CSV
  • [1] 魏非凡. 基于人体姿态估计的行为识别算法[D]. 长沙: 国防科技大学, 2018.
    [2] 郑雪晨. 基于姿态估计的异常跌倒检测[D]. 杭州: 杭州电子科技大学, 2020.
    [3] 王家兴. 基于深度数据特征的铁路手信号姿态识别[D]. 北京: 北京交通大学, 2019.
    [4] 邓伟男. 基于深度学习的管制员状态检测研究[D]. 广汉: 中国民用航空飞行学院, 2020.
    [5] 赵 勇,巨永锋. 基于改进卷积神经网络的人体姿态检测 [J]. 测控技术,2018,37(6):14-19.
    [6]

    H. Li, W. Yang and Q. Liao. Temporal Feature Enhancing Network for Human Pose Estimation in Videos[C]//2019 IEEE International Conference on Image Processing (ICIP). Taipei:IEEE, 2019: 579-583.

    [7]

    K. Sun, B. Xiao, D. Liu and J. Wang. Deep High-Resolution Representation Learning for Human Pose Estimation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019: 5686-5696.

    [8]

    S. Kreiss, L. Bertoni and A. Alahi. PifPaf: Composite Fields for Human Pose Estimation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019: 11969-11978.

    [9] 陈栋策. 基于视频分析的电动扶梯行人安全监测系统软件研发[D]. 杭州: 浙江大学, 2019.
    [10]

    H. Fang, S. Xie, Y. Tai and C. Lu. RMPE: Regional Multi-person Pose Estimation[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017: 2353-2362.

    [11] 杨 琳,苗振江. 一种人群异常行为检测系统的设计与实现 [J]. 铁路计算机应用,2010(7):37-41. DOI: 10.3969/j.issn.1005-8451.2010.07.012
  • 期刊类型引用(20)

    1. 苗杰,倪洪启,杨兵. 基于机器视觉的锻件尺寸检测方法. 机械工程师. 2025(03): 39-41+47 . 百度学术
    2. 贺泳超,陈秋南,程家杰. 基于改进YOLOv7算法的隧道衬砌裂缝智能识别. 湖南科技大学学报(自然科学版). 2024(02): 35-43 . 百度学术
    3. 刘浩,万超一. 基于改进Canny算法的道路标识检测方法研究. 软件导刊. 2024(10): 193-198 . 百度学术
    4. 郝振中,余耀,赵东. 用于图像边缘检测的SOC FPGA系统. 计算机与数字工程. 2024(08): 2317-2322 . 百度学术
    5. 倪锦,谈佳玉,张军文,沈建. 基于瞬时热处理的虾夷扇贝精准开壳方法及品质分析. 渔业现代化. 2024(06): 125-136 . 百度学术
    6. 孙红,袁巫凯,赵迎志. 引入反馈注意力的并行式多分辨率语义分割算法. 包装工程. 2023(01): 141-150 . 百度学术
    7. 朱建洲,韩清宇,林佳涛,徐小雅. 基于机器学习算法的图像边缘识别. 无线互联科技. 2023(04): 125-128+132 . 百度学术
    8. 袁宏翔,王俊平,沈云波,钟旭阳,江海啸. 基于深度学习的撒砂管高度测量算法研究. 控制与信息技术. 2023(02): 78-84 . 百度学术
    9. 杨桐. 基于图像处理的钢轨表面缺陷检测算法分析. 兰州工业学院学报. 2023(02): 73-77 . 百度学术
    10. 王敬雪,庄梅玲. 基于Snake-Net算法的刺绣针法识别. 现代纺织技术. 2023(04): 236-249 . 百度学术
    11. 汪宗洋,王煜,朱硕. 基于改进Canny算法的边缘检测技术应用及发展趋势. 信息通信技术与政策. 2023(08): 90-96 . 百度学术
    12. 周栋锋,李俊峰. 鞋底喷胶轨迹自动生成算法研究. 智能计算机与应用. 2023(09): 67-73 . 百度学术
    13. 李百明. 基于机器视觉的角码孔径测量方法研究. 吉林化工学院学报. 2023(07): 77-82 . 百度学术
    14. 孟祥臻,钱巨. 基于深度相机的三维空间测试脚本录制方法与工具. 计算技术与自动化. 2022(02): 141-146 . 百度学术
    15. 任志敏,曾文军,张良. 一种基于图片边缘轮廓的信息隐藏方法. 山西电子技术. 2022(04): 5-8 . 百度学术
    16. 王冰妍,刘必林,顾心雨. 一种边缘检测方法在头足类角质颚识别中的应用. 渔业现代化. 2022(04): 52-59+69 . 百度学术
    17. 高佳文,费树岷. 基于边缘检测的芒果表面缺陷检测研究. 电子测试. 2022(20): 42-44 . 百度学术
    18. 黄郑,卞尹蕾,王红星,张欣,邹冰倩,朱洁. 无先验地图条件下电力管廊无人机自主巡检方法研究. 电子测量技术. 2022(19): 30-35 . 百度学术
    19. 陈旭昂,邓恒,周建华,余学才. 基于机器视觉的钢轨圆孔动态测量方法. 电子测量技术. 2022(21): 111-116 . 百度学术
    20. 查杨,陈武,赖一波,吴尧,方家吉,黄铮,喻擎苍. 基于有序轮廓链的葫芦科砧木苗生长点检测. 热带农业工程. 2022(06): 28-36 . 百度学术

    其他类型引用(19)

图(8)  /  表(3)
计量
  • 文章访问数:  195
  • HTML全文浏览量:  503
  • PDF下载量:  47
  • 被引次数: 39
出版历程
  • 收稿日期:  2020-10-21
  • 刊出日期:  2021-04-24

目录

/

返回文章
返回