Passenger flow analysis and abnormal alarm system for passenger station based on image analysis
-
摘要:
为及时发现铁路客运场所潜在的安全隐患和异常事件，并主动进行干预，设计基于图像分析的客运站客流分析及异常报警系统。利用客运站既有的高清摄像头、智能传感器等设备，实时获取客运场所图像；结合图像分析技术和算法，根据客运站具体需求，不断优化目标检测和深度学习模型；应用复杂特征提取方法，优化异常分类报警阈值，实现了客运站客流、旅客越线或跌倒、公共场所消防等安全隐患场景的实时监控、分析、预测和异常报警。基于某车站的试点运行表明，该系统能够准确识别车站客流密度、人员行为异常及消防预警等重要事件，有效提升了车站的安全预警能力，以及车站安全管理水平和运输服务水平。
Abstract:In order to promptly identify potential safety hazards and abnormal events in railway passenger transport sites and intervene proactively, this paper designed a passenger flow analysis and abnormal alarm system for passenger stations based on image analysis. The paper utilized existing high-definition cameras, intelligent sensors, and other devices in passenger stations to obtain real-time images of passenger transport areas, combined image analysis technology and algorithms, continuously optimized object detection and deep learning models based on the specific needs of passenger stations, applied complex feature extraction methods, optimized abnormal classification alarm thresholds, and implemented real-time monitoring, analysis, prediction, and abnormal alarm of passenger flow, passenger crossing or falling down, public fire safety and other safety hazards in passenger stations. The pilot operation based on a certain station shows that the system can accurately identify important events such as passenger flow density, abnormal personnel behavior, and fire early warning, effectively improves the safety early warning capability of the station, as well as the level of station safety management and transportation services.
-
铁路是国家重要的基础设施，是综合交通运输体系的骨干，对推动我国经济社会发展发挥着重要作用[1]。铁路客运站是铁路部门与旅客交互的窗口，具有非常重要的社会地位[2]。随着铁路客运站的客运量逐年增长，其客流结构也日益复杂[3-4]。目前，铁路行业已大范围部署了视频系统，客运站在站台、候车厅、进出站和电梯扶梯等重点区域部署了视频采集设备，在站内组建视频专网，配置视频图像数据存储设备，设置视频图像监控中心。客运站对视频图像数据采集和存储管理比较科学，但对于视频和图像分析和监控大多采用人工方法，缺乏有效的图像分析、识别和预警手段，难以满足现代铁路客运站对安全管理的严苛要求。
本文通过前期调研发现，客运站在组织乘客候车检票、站台旅客上/下车客流组织、旅客物品遗失、电梯人员跌倒、旅客肢体冲突等方面需要投入大量的人力，虽然车站在重点部位全部有监控设备，但是这些设备的影像大多时候用于出了问题回头看，车站设施利用率不高。近年来，人工智能、物联网、计算机视觉等技术快速发展，为铁路客运安全管理提供了解决方案[5-7]。对利用车站部署的高清摄像头、智能传感器等设备获取到的图像，通过图像分析技术，建立预设模型，借助行为分析、目标跟踪、异常检测、人流密度监测等技术，进行深度学习和模型改进，并结合车站自身作业标准，自动检测并识别各种潜在的安全风险，实现对车站安全的智能化、高效化和精准化管理，可为铁路客运站的安全运营提供有力保障。
基于此，本文通过研究图像分析技术，结合日常工作需求，设计客运站客流分析及异常报警系统（简称：本文系统），实现站台旅客越线预警、无人区闯入预警、候车室人流预警、上/下车人流预警、进/出站人流预警、消防预警、物品遗失预警、旅客跌倒行为预警及电动车入电梯预警等功能，充分利用车站现有资源，提高车站工作人员的工作效率，为车站安全管理提供强有力的技术支撑。
1 系统设计
1.1 系统架构
本文系统架构分为多维感知层、视图智算层、软件中台层和智能应用层，如图1所示。
（1）多维感知层
通过多通道、多物理量的传感器识别和量化各种信息。不同类型的感知设备（如广目、瞭望等）协同工作，能够实时采集视频、图像、声音等多模态数据，实现对环境的全方位、多角度感知。
（2）视图智算层
实现高效、实时的数据处理与分析。图像与视频处理模块接收原始数据，进行预处理并从数据中提取出关键信息；数据融合与关联分析模块对多源数据进行融合，并执行关联分析；深度学习与算法分析模块识别目标、事件和行为，包含多个预训练模型；决策与响应模块根据算法分析的结果作出决策，并执行预定义的响应动作；模型优化与更新模块利用新数据对模型进行再训练，对模型进行持续优化更新；数据存储与管理模块存储并管理图像、视频及模型相关数据，支持数据的备份和恢复。
（3）软件中台层
实现对本文系统功能的模块化封装和统一调度。业务逻辑模块实现事件检测、行为分析及异常识别，发生异常事件时，自动触发报警系统并通知相关人员；监控模块监控服务、性能及错误日志；配置管理与版本控制模块负责系统配置，记录变更历史；智能模型管理模块支持算法的上传、下载、更新及版本控制；数据管理与交换模块负责数据存储、管理和安全交换；安全与权限管理模块保障用户认证、访问控制及安全防护。
（4）智能应用层
业务管理包括实时监控、报警检测、算法仓库和综合管控。算法仓库提供算法的管理和存储功能，用户可以上传、下载和更新算法模型，根据业务需求选择合适的算法进行应用，提供算法的性能评估，帮助用户选择最优算法；综合管控提供算法规则设置、监控区域设置及监控解析时间设置等功能。中间件管理包括设备管理、用户管理、配置管理、日志管理、维护管理和存储管理。
1.2 技术架构
本文系统技术架构如图2所示。
（1） 数据存储层
采用国产人大金仓数据库确保数据安全稳定，利用Redis缓存提升数据访问速度。运用云架构和分布式存储技术，提升系统的存储能力和扩展性，应对大规模数据处理需求。
（2） 服务层
分为业务服务模块和服务管理模块。业务服务模块集成了报表引擎，用于数据可视化展示；服务管理模块负责本文系统的日常运营维护（简称：运维），其中，日志管理负责追踪本文系统状态，用户认证负责确保访问安全，定时任务负责自动化处理常规工作，权限分配负责保障数据安全性。
（3） 控制层
采用SpringMVC框架，负责处理用户的请求并返回相应的响应。控制器类中的方法对应具体的业务逻辑处理，接收来自前端的请求参数，调用服务层的方法处理业务逻辑，并将处理结果传递给视图层进行展示。
（4） 视图层
浏览器界面基于Vue构建，利用Bootstrap实现响应式设计；Elements提供丰富的UI组件，结合ECharts和FineBI工具，实现丰富的数据可视化效果，提升数据的展示和分析能力；Axios作为HTTP客户端，用于在前端与后端之间进行数据交互，确保视图层能够实时、高效地展示数据。
2 系统功能
本文系统功能架构如图3所示。
2.1 实时监控
实时监控功能包括实时点播、录像存储和平台级联。实时点播功能允许用户随时选择并观看任意摄像头的实时视频流，快速了解车站内各个区域的实时情况，为安全管理决策提供及时依据。录像存储功能确保监控视频的完整性和可追溯性。系统会将所有监控视频进行高效压缩和加密存储，支持长期保存和快速检索。平台级联功能使得多个独立的监控系统相互连接，形成一个统一的监控网络，以实现资源的集中管理和共享。
2.2 算法仓库
算法仓库功能包括算法包管理和域管理。算法包管理实现各类算法的集中存储、分类和调用；域管理包括上级、下级和外域管理。上级域管理支持查看上级域解析平台的算法文件，并从中下载或更新算法文件到本域解析平台；下级域管理支持将当前解析平台算法包文件安装至下级域的解析平台中，并支持查看和卸载下级域的解析平台中的算法文件；外域管理功能支持处理与其他业务系统或平台的算法文件进行交互和连接，实现算法的共享。
2.3 综合管控
综合管控功能，允许用户根据实际场景，精确地划分检测区域，确保监控的准确性和高效性。此外，允许用户划分视频解析时间。用户根据实际需要，设定对视频数据的解析时段，实现对特定时间段内事件的精确回溯和分析。通过配置和应用这些功能，用户能够实现对监控场景的全方位、多角度掌控。
2.4 报警检测
将识别出的报警信息以直观的方式展示在监控中心的大屏幕上，方便管理人员实时掌握车站的安全状况，报警信息如图4所示。在大屏可以实时查看报警图片和调取监控影像。
（1）消防预警
精准识别火灾特征，有效区分火灾与其他干扰因素。消防预警功能具备与其他安全系统的联动能力。预警触发后，自动启动紧急疏散程序，开启门禁并广播通知疏散。同时，记录预警详情并生成报告，为火灾调查和安全管理提供依据。
（2）旅客行为预警
对旅客的行为进行实时分析，识别出诸如奔跑、推搡、滞留、摔倒等异常行为模式。根据预设的安全规则和阈值，对识别出的异常行为进行风险评估。一旦检测到高风险行为，将立即触发预警机制，通知相关人员迅速处理。同时，旅客行为预警功能还具备数据分析和统计能力，系统记录并分析旅客行为的分布、频率和趋势。
（3）遗留物品预警
识别出站台、候车室等关键区域的物品。当检测到有物品在特定区域内滞留超过预设的时间阈值时，会自动触发预警机制，管理人员迅速响应，确认物品情况并采取相应措施，比如联系失主或报警等。遗留物品预警功能还与其他安全系统进行联动。当预警触发时，自动调整摄像头角度，提供更清晰的遗留物品画面，便于管理人员进一步判断和处理。同时，该功能还具备数据分析和统计能力，可记录并分析遗留物品的分布、频率和趋势。
（4）大客流预警
对视频画面中的客流进行精确识别和计数。通过对比历史数据和预设的客流阈值，能够实时判断当前客流是否超过安全范围。一旦检测到客流超过预警阈值，将立即触发预警机制，向车站管理人员或相关部门发送实时预警通知，以便他们迅速采取应对措施，如增加人手、调整车次、引导客流等。大客流预警功能还具备数据分析和统计能力，记录并分析进出站、候车室客流量的变化趋势、高峰时段等信息，并根据统计分析结果预测未来时段的客流变化。
（5）越线预警
当旅客在车站内出现跨越安全线行为时，会自动捕捉并识别这一异常状况。当检测到旅客越过设定的安全线时，会立即启动识别算法，对越线行为进行判断。一旦确认越线行为发生，将自动触发报警机制，并进行报警提示。此外，本文系统接入了车站的列车时刻表，可对上下车时段的旅客越线行为进行过滤，人员越线识别效果如图5所示。
3 关键技术
3.1 图像识别技术
图像识别技术主要包括运动目标检测、识别、跟踪、行为分析等技术。利用运动目标检测技术从视频图像中去除背景，识别运动物体；目标分类技术会识别这些目标类型，区分出乘客、工作人员、物品等目标及其对应目标描述信息；目标跟踪技术确定目标在每一帧图像中的位置，并获取其运动参数（如速度、加速度、方向等）和运动轨迹；通过对目标运动的持续观察和分析，用行为分析技术识别出特定的行为模式或异常行为。图像识别具体流程如图6所示。
在图像识别中，采用基于YOLOv8的深度学习算法，对人的主要活动骨架结构化，根据人的运动轨迹，定义各种异常动作行为。YOLOv8的深度学习算法是单阶段目标检测算法，不同于R-CNN[8]和Fast R-CNN[9]双阶段目标检测算法，这种检测是直接端到端的检测，检测速度较快，网络模型更加轻量化，计算推理及反向传播快，能够满足实时分析要求。
YOLOv8算法中backbone网络的C3模块由C2f模块替代，且每个stage中的blocks修改为[3,6,3,3]等；Head部采用了anchor-free的检测头。Anchor-free方法通常包括直接预测目标的中心点、宽高或其他关键点，通过后处理步骤（如NMS）来过滤和合并预测结果；YOLOv8还对分类损失函数和边界框回归损失函数进行了优化，其中分类损失函数主要采用VFL Loss函数，公式为
$$ VFL\left(p,q\right)=\left\{\begin{array}{ll}-q\left[q\mathrm{log}p+\mathrm{log}\left(1-p\right)\right] & ,当q > 0 \\ -ap^y\mathrm{log}\left(1-p\right) & ,当q=0\end{array}\right. $$ (1) 式（1）中，
$ p $ 是模型预测的IACS（IoU-Aware Classification Score），融合了物体存在的置信度和定位精度的分类分数；$ q $ 是目标IoU（Intersection over Union）分数，对于正样本（即与真实框有交集的样本），其值是一个与IoU相关的软标签，而不是简单的0或1。例如，当IoU很大时，$ q $ 接近1；当IoU很小时，$ q $ 接近0。$ a $ 和$ \gamma $ 是超参数，用于控制负样本的贡献。当$ q=0 $ 时（即负样本），$ a $ 和$ \gamma $ 会减少负样本的贡献，防止过度抑制负样本。边界框回归损失函数采用CIOU Loss函数，公式为$$ CIoULoss = 1 - IoU + \alpha \left( {\frac{v}{{1 - IoU + v}}} \right) - \beta \left( {\frac{{{d^2}}}{{{c^2} + \varepsilon }}} \right) $$ (2) 式（2）中，IoU是两个边界框之间的交并比，它衡量了预测框与真实框之间的重叠程度；
$ \alpha $ 和$ \beta $ 是两个超参数，用于调节$ v $ 和$ \dfrac{{{d^2}}}{{{c^2}}} $ 在损失函数中的权重；$ d $ 是预测框和真实框中心点的距离；$ c $ 是预测框和真实框最小外接矩形的对角线距离；$ \varepsilon $ 是一个很小的正数，用于防止分母为零的情况；$ v $ 是长宽比的一致性参数，用于衡量预测框和真实框的长宽比之间的差异，计算公式为$$ v = \frac{4}{{^{{\pi ^2}}}} {\left( {\arctan \left(\frac{{w\_gh}}{{h\_gh}}\right) - \arctan \left(\frac{w}{h}\right)} \right)^2} $$ (3) 式（3）中，
$ w\_gt $ 和$ h\_gt $ 分别为真实框的宽和高；$ w $ 和$ h $ 分别为预测框的宽和高。3.2 云架构与分布式存储技术
充分利用云计算的弹性与分布式特性，使得数据存储更加灵活和可靠[10]。分布式的存储机制，将数据分散存储在多台独立的存储服务器上，提高数据的冗余性，增强本文系统的容错能力。在部署过程中，在每个服务器节点上运行云存储系统的相应软件服务程序模块，确保本文系统的稳定性和可扩展性。云架构的分布式存储系统不仅满足对重要事件及关联视频、图片的存储需求，更在数据的安全性、可靠性和易用性方面达到了很高的标准，为数据回溯服务提供强有力支持[11-13]。
3.3 3D空间建模技术
本文系统运用3DMax专业建模软件，基于计算机图形学和几何学的原理，把候车大厅、站台、电梯等车站重要建筑及关键设备的复杂结构抽象成点、线、面等基本元素来绘制成三维立体模型，通过坐标系统来确定这些元素在三维空间中的位置和方向，从而实现车站3D空间建模。通过FineReport中的WebGL三维引擎技术，将三维模型集成到数据大屏中。在FineReport中，通过配置数据集，将车站的实时数据与三维模型进行关联，实现车站候车厅的客流分布情况、消防巡检情况及站台旅客越线情况等的实时展示及异常情况的自动标注和提醒。
4 结束语
为解决因铁路客运量攀升、客流结构日益复杂所带来的铁路客运安全管理的迫切需求，设计了基于图像分析的客运站客流分析及异常报警系统。通过图像识别技术、云架构和分布式存储等关键技术，实现了实时监控、算法仓库、综合管控和预警检测等功能。该系统可通过接口给不同的业务系统提供监控项点，已在唐山站数智管控平台中试点运行，实现了车站视频图像数据和特殊报警信息的实时采集、自动展示与联动处理，有效提升了车站的安全预警能力和应急处置效率，进一步提高了车站旅客管理和运输服务水平，为提升铁路客运安全管理信息化水平提供了有力支撑。
未来，我们将进一步优化算法和功能，拓展应用场景，为车站的智能化管理提供更加全面、高效的支持。同时，也将通过本系统的推广和应用，为更多客运站的安全管理和旅客服务水平的提升提供参考。
-
[1] 王小书,杨国元. 基于数字孪生模型的铁路客运站应急响应仿真方案研究[J]. 铁路计算机应用,2021,30(7):44-49,60. [2] 史天运,张春家. 铁路智能客运车站系统总体设计及评价[J]. 铁路计算机应用,2018,27(7):9-16. [3] 李 永,孟 歌,廖凤华,等. 铁路客运车站客流监测与预警系统[J]. 铁路计算机应用,2023,32(1):68-73, DOI: 10.3969/j.issn.1005-8451.2023.01.12. [4] 佚 名. 2023年全国铁路客运量创新高,旅客发送量达36.8亿人次[J]. 人民公交,2024(2):95. [5] 李 倩. 基于自监督部位感知的行人重识别模型及其在铁路客运站的应用[J]. 铁路计算机应用,2024,33(2):19-23. DOI: 10.3969/j.issn.1005-8451.2024.02.04. [6] 张 波. 基于AL-Transformer的铁路客运站旅客属性识别方法[J]. 铁路计算机应用,2024,33(2):7-12, DOI: 10.3969/j.issn.1005-8451.2024.02.02. [7] 何思瑶. 基于目标检测的铁路客运车站旅客行李关联技术研究[D]. 北京:北京交通大学,2022. [8] Song P H, Li P T, Dai L H, et al. Boosting R-CNN: reweighting R-CNN samples by RPN’s error for underwater object detection[J]. Neurocomputing, 2023(530): 150-164. DOI: 10.1016/j.neucom.2023.01.088
[9] Ju J X, Liang D X. Railway catenary insulator recognition based on improved faster R-CNN[J]. Automatic Control and Computer Sciences, 2022, 56(6): 553-563. DOI: 10.3103/S0146411622060074
[10] 崔 齐. 基于视觉导引的水下对接显控系统研究与实现[D]. 沈阳:辽宁大学,2023. [11] 蒲一超,张 琦,田 琳,等. 面向地铁客流分析场景的弹性集群云平台架构设计及部署方案[J]. 城市轨道交通研究,2024,27(1):156-161, DOI: 10.16037/j.1007-869x.2024.01.028. [12] 李志勇. 视频监控系统中分布式存储技术的研究与应用[D]. 上海:华东师范大学,2023. [13] 谭鹏许. 云计算环境下安全分布式存储架构与容错技术研究[D]. 郑州:解放军信息工程大学,2013.
下载:
计量
- 文章访问数: 51
- HTML全文浏览量: 15
- PDF下载量: 23
