Tailgating detection system for railway passenger entering and exiting station based on structured light 3D distance measurement technology
-
摘要: 铁路客运站进/出站场景人流量大、环境复杂,使得现有尾随检测方法误报率较高。为此,设计了铁路旅客进出站尾随检测系统,利用结构光3D测距技术、身份识别技术和行人检测技术,准确获取旅客间的相对距离。与现有尾随检测系统相比,所设计的系统可有效地检测旅客进出站场景下的尾随行为,显著提高了尾随情况的检出率。降低了旅客携带大件行李时的尾随误报率。Abstract: The high pedestrian flow and complex environment in the entering / exiting scenarios of railway passenger stations make existing tail detection methods have a high false alarm rate. For this reason, this paper designed a tracking detection system for railway passenger entering and exiting station. The paper used structured light 3D ranging technology, identity recognition technology and pedestrian detection technology to accurately obtain the relative distance between passengers. Compared with existing tailgate detection systems, the designed system can effectively detect the tailgate behavior of passenger entering / exiting of station scenarios, significantly improving the detection rate of tailgate situations and reducing the tailgate false alarm rate when passengers carry large luggage.
-
Keywords:
- trailing detection /
- structured light /
- image processing /
- face recognition /
- ranging technologies
-
铁路客运站旅客进/出站场景人流量大,环境复杂,旅客躲避身份验证、意图尾随通过闸机等现象时有发生。客运站既有进/出站闸机的尾随判别主要依靠红外传感器,智能化水平较低,需要依靠车站客运员现场引导,增加了客运员的工作量,影响客运作业工作效率,降低广大旅客的出行体验。因此,亟需利用智能化技术研发铁路进出站尾随检测系统,提升客运服务品质。
近年来,研究人员针对尾随检测方法进行大量研究。史时喜[1]利用YOLO(You Only Look Once)检测算法设计了一种基于视频分析的尾随检测模型;刘发青[2]通过测量光幕,设计了一种基于卡尔曼滤波器的目标跟踪方法,并采用改进的XYT步态模型设计了一种尾随检测算法;赵歌[3]利用架设在不同位置的2个摄像头同时进行人脸和头肩位置的检测,根据通道区域内头肩和人脸数量中的目标数量与位置关系进行尾随事件判别;井凤娟等人[4]基于红外传感器,结合人脸识别算法,设计了一种尾随检测算法,使用人脸识别技术进行门禁开启判断,并利用红外传感器判断人员通过时是否存在尾随现象。在铁路进出站的复杂场景下,尤其在旅客携带大件行李通过闸机时,单独使用红外传感器的防尾随通道或深度学习技术的防尾随算法易引起误报。
综上,本文利用深度学习技术与多种传感器相融合,设计了一种基于结构光3D测距技术的铁路旅客进出站尾随检测系统(简称:本文系统)。该系统在不影响铁路旅客进/出站的同时,能有效提高尾随事件检测的准确率,并降低误报率。
1 系统设计
1.1 系统架构
本文系统主要由算法服务节点和尾随检测终端两部分组成。该系统旨在检测旅客进/出站过程中是否存在尾随事件,因此,需要通过铁路内部服务网与位于中国国家铁路集团有限公司(简称:国铁集团)的实名制核验服务系统、铁路检(验)票服务系统和铁路人像检索平台等客票相关系统进行数据交互,获取已成功检(验)票的旅客信息,从而区分合法旅客和非法旅客。系统架构如图1所示。
1.1.1 算法服务节点
算法服务节点作为本文系统的重要组成部分,通过交换机向尾随检测终端提供算法服务和计算能力。为降低算法服务的时延,通常将该节点部署在车站。算法服务节点提供包括人脸检测、人脸关键点检测和行人检测等深度学习算法服务。1个算法服务节点可为1~4台尾随检测终端提供算法服务。算法服务节点需要部署的具体数量,可根据车站的进/出站口数量及每个进/出站口布设尾随检测终端的数量进行动态配置,亦可采用多节点的部署方式,即不再根据进/出站口数量,而是将算法服务节点数量与尾随检测终端数量之比提高到1∶1或以上,从而提高系统稳定性。
1.1.2 尾随检测终端
尾随检测终端由进/出站闸机(包括实名制核验闸机、验检合一闸机和出站闸机等)加装结构光3D模块改造而成[5],如图2所示,其工作区域主要包括通道区域和刷卡区域。结构光3D模块由激光点阵投射器、红外摄像机和可见光摄像机组成,使用支架等支撑物安装在尾随检测终端尾部位置。通过对既有进/出站闸机进行升级改造,使其具备采集旅客与闸机距离的能力,为旅客尾随事件的判断提供依据。
尾随检测终端沿用了进/出站闸机的身份信息采集模块、红外感应模块、门单元、警报器、显示屏、无线遥控器和无线遥控模块等部分。其中,身份采集模块包括身份证件识读、二维码识读[6]、护照识读和人像采集等子模块。
1.2 数据接口
在尾随检测终端的主控模块上部署主控程序,与本文系统内部软/硬件模块和客票各业务系统进行数据交互,从而实现尾随检测功能。按照数据来源不同,交互数据可分为系统内部的尾随检测算法数据和系统外部的实名制信息。
1.2.1 尾随检测算法数据
(1)通道图像数据。主控模块通过USB接口连接结构光3D模块,主控程序通过轮询的方式,持续采集通道的可见光图像数据。
(2)距离数据。当有旅客出现时,主控程序通过分析结构光3D模块的可见光图像数据来获取当前行人相对结构光3D模块的距离数据。
(3)红外传感器数据。主控程序通过轮询的方式,同时采集多组红外传感器数据的工作状态。
1.2.2 身份信息获取
本文系统需要与铁路检(验)票服务系统进行数据交互,确定旅客身份的合法性。对使用不同身份凭证的旅客[7-9],本文系统获取其身份信息的过程存在一定差别,但均会将包含已通过检(验)票的旅客的身份标识信息和其进行检(验)票时所采集的现场照片传输至尾随检测终端。
1.3 系统工作流程
本文系统的工作流程,如图3所示。
(1)系统启动后,尾随检测终端的主控程序利用算法服务节点提供的算法能力,通过身份信息采集模块采集刷卡区域的旅客人脸。当在刷卡区域采集到人脸时,开始利用结构光3D模块对该旅客的位置信息进行预采集。
(2)旅客检(验)票时,主控程序采集旅客身份信息,并通过铁路检(验)票服务系统、铁路人像检索平台对旅客的票、证、人等信息进行核验,并根据核验结果决定是否开门放行。
(3)若核验通过,则开启尾随检测终端的门单元,对刷卡区域的旅客进行放行,并将旅客身份信息传递至铁路进出站尾随检测系统,开始进行尾随检测。结构光3D模块持续采集旅客相对距离和可见光图像。
(4)系统利用算法服务节点中的人脸检测算法和人脸关键点检测算法对可见光图像进行处理,按照不同旅客身份对结构光3D模块预采集的位置信息进行聚类;利用算法服务节点中的行人检测算法得到可见光图像中的行人位置,判断旅客是否位于通道区域。
(5)当第1组红外感应模块被触发,即通道区域内人数为1人时,系统使用人脸识别算法判断进入通道区域内的旅客是否为已验票的旅客,若不是,则为其他旅客闯闸,系统发出闯闸警报。
(6)通道区域内人数大于1人时,系统获取其他旅客与已检(验)票旅客的位置关系,若小于尾随距离,且不在合法区域(如临侧通道、刷卡区域等),则认定为尾随事件,发出尾随警报。
(7)已检(验)票旅客在通道行进过程中,通道内红外传感器被顺序触发,旅客相对结构光3D模块的距离逐渐减小。当相对距离为0,通道尾部最后一组传感器被触发后,认为旅客离开通道区域,主控模块发出指令,关闭门单元。
2 关键技术
本文系统利用结构光3D测距技术、身份识别技术和行人检测技术,在准确检测铁路进/出站尾随事件的同时,有效降低因旅客携带行李而造成的误报。
2.1 结构光3D测距技术
结构光3D测距技术是一种应用较广的三维立体成像方式,具有精度高、分辨率高、工作环境光照适应度高、工作温度范围广等特点。采用激光点阵投射器、红外摄像机和可见光摄像机,采集可见光图像、红外图像,并利用结构光三角法原理形成物体的深度图。
(1)结构光3D模块利用激光点阵投射器,按一定时间序列,向通道区域发射具有一定模式的结构光图形,如图4所示,由于物体存在不同深度,所以结构光图形会在物体表面发生畸变;(2)结构光3D模块的红外摄像机采集被测量物体表面上畸变的红外结构光图像,并将采集图像与预先标定的参考结构光图像进行匹配计算,以获取采集图像与标定图像间各像素的偏离值;(3)根据偏离值,基于结构光三角法原理,计算出可见光摄像机采集的可见光图像中的物体深度信息,即物体到结构光3D模块的距离。
2.2 身份识别技术
本文使用基于人脸识别算法的身份识别技术,对尾随检测终端的结构光3D模块采集到的可见光图像中的旅客人脸进行身份标定,从而将采集的深度图像按旅客的身份进行聚类。身份识别的具体过程如图5所示。(1)进行人脸图像数据采集;(2)使用人脸检测算法从可见光图像中获取人脸位置;(3)利用人脸关键点检测算法检测图像中的人脸关键点;(4)利用人脸关键点,对图像中的人脸进行空间归一化;(5)对空间归一化得到的人脸进行特征提取。(6)本文系统利用得到的特征,进行特征相似度判断,进而聚类得到同一旅客在不同时刻的位置。
2.3 行人检测算法
行人检测是指从图像或视频中找出行人的位置,一般用矩形框表示行人在图像中的位置和大小。本文利用行人检测算法定位结构光图像中的旅客位置,从而在深度图中获取旅客的相对位置。如图6所示,通过对深度图的映射,可见光图像中每个像素的位置均能在深度图中找到与之对应的像素。使用行人检测算法在可见光图像中找到行人位置,由此位置向深度图像进行映射,从而在深度图中得到相应位置的深度信息即该行人的深度信息,可用于判断旅客之间的距离。
3 系统验证
为验证本文系统的有效性,本文在实验室搭建了仿真环境,模拟旅客在刷卡区域完成检(验)票和身份核验后进入通道区域的全过程。旅客以不同速度和不同的行李携带方式通过通道区域,尾随人员以不同速度和尾随姿态试图尾随通过。将目前铁路正在使用的进出站闸机自带的尾随检测模式作为对比,在相同实验测试手段下进行测试。存在和不存在尾随的两种情况各测试200次,记录系统正确判断当前测试状态的记次数,计算正确率,试验正确率如表1所示。
表 1 不同尾随检测系统的正确率不存在尾随情况 存在尾随情况 本文系统 98% 96% 既有系统 82% 88% 由表1可知,使用本文系统进行进出站尾随检测,当不存在尾随情况时,无论旅客是否携带大件行李通过通道区域,均能较准确地将其识别为非尾随事件,与既有系统相比,有效降低了误报率,且在发生旅客尾随情况时,本文系统也能更准确地检测到尾随事件的发生。
4 结束语
本文设计了一套基于结构光3D测距技术、身份识别技术和行人检测技术的铁路旅客进/出站尾随检测系统,该系统可有效检测出非法旅客尾随进/出站的情况,降低对携带大件行李的旅客的尾随误报率,减少了车站客运人员的工作量。但针对旅客怀抱婴儿、携带儿童等情况,本文系统误报率较高,下一步将结合具体业务,对类似情况进行进一步研究。
-
表 1 不同尾随检测系统的正确率
不存在尾随情况 存在尾随情况 本文系统 98% 96% 既有系统 82% 88% -
[1] 史时喜. 基于视频检测的高风险区域门禁防尾随预警 [J]. 机械设计与制造工程,2021,50(11):91-97. DOI: 10.3969/j.issn.2095-509X.2021.11.018 [2] 刘发青. 通道闸机防尾随方法研究与系统实现[D]. 天津: 中国民航大学, 2019. [3] 赵 歌. 基于机器视觉的人证合一及防尾随报警系统研究[D]. 北京: 北方工业大学, 2019. [4] 井凤娟. 基于人脸识别的被动式红外防尾随门禁自动控制方法 [J]. 自动化与仪器仪表,2020(7):46-49. DOI: 10.14016/j.cnki.1001-9227.2020.07.046 [5] 贾成强,戴琳琳,徐海涛,等. 基于人脸识别技术的铁路实名制进站核验系统研究及设计 [J]. 铁路计算机应用,2018,27(7):49-53,63. [6] 游雪松,苗 凡,戴琳琳,等. 二维码电子票在铁路客票系统中的应用研究 [J]. 铁路计算机应用,2021,30(12):35-40. DOI: 10.3969/j.issn.1005-8451.2021.12.08 [7] 李贝贝,朱建生,阎志远,等. 铁路客票系统人像检索平台构建与关键技术研究 [J]. 铁道运输与经济,2021,43(5):58-63,91. DOI: 10.16668/j.cnki.issn.1003-1421.2021.05.09 [8] 衣 帅. 铁路旅客无感出站关键技术及应用方案研究[D]. 北京: 中国铁道科学研究院, 2020. [9] 李 政,化小刚,王永峰. 基于人脸识别的刷脸检(验)票技术研究与实现 [J]. 铁路计算机应用,2018,27(3):28-31. DOI: 10.3969/j.issn.1005-8451.2018.03.007 -
期刊类型引用(1)
1. 殷希彦,秦希青,盛步云,周欢,陈鹏,姜峰. 基于本体与Petri网的智能工厂关键要素语义建模. 组合机床与自动化加工技术. 2023(01): 173-178 . 百度学术
其他类型引用(0)