截至2022年底，内地开通城市轨道交通（简称：城轨）线路的城市达55座，运营里程达10291.95 km^[1]。但在城轨的实际运营过程中仍存在一些问题：（1）视频资源利用方面，对大量网络摄像头采集来的视频资源仅做简单的存储，缺乏有效的设备或系统对其进行分析、处理；（2）乘客体验方面，乘客在候车过程中无法得知列车车厢的拥挤程度，只能随机选择候车位置，使得各车厢乘客分布不均，导致乘车体验较差，列车空间得不到充分利用；（3）运营保障方面，每趟列车需要配备数名乘务保障人员，保障列车的有序、安全运营，耗费人力较多。

《中国城市轨道交通智慧城轨发展纲要》中提出，要“引入人工智能技术，提升列车智能水平”^[2]。视频智能分析与图像识别技术作为人工智能的重要技术，已在城轨领域逐步开展应用。彭瑞卿等人^[3]测试了YOLOv3（You Only Look Once v3）、MCNN（Multiple Convolutional Neural Network）、CSRNet（Network for Congested Scene Recognition）等多个模型在目标部分被遮挡时的识别效果，验证了CSRNet模型在目标密集型区域的表现稳定性，为车厢内客流量较大时的客流统计提供了参考；唐晗等人^[4]基于FCHD（Fully Convolutional Head Detector）模型进行人脸检测，验证了该模型对存在角度偏移及部分遮挡情况的多人脸场景具有较好的检测能力；张馨等人^[5]针对车厢内人群密集及遮挡的环境特征对YOLOv5s模型进行了改进，提高了车厢客流密度检测精度。在列车清客检测方面，现有解决方案大多需要人工参与，李迎春等人^[6]及冯维佳^[7]设计了由巡检人员或值班员人工确认乘客是否全部下车并进行清客确认的系统；塔力鹏^[8]设计了基于图像识别的地铁清客系统，并将YOLOv5s模型用于列车清客时的目标检测中，达到节省人力的目的。

上述研究大多针对具体功能目标和存在的问题，因此，在实现城轨列车视频分析的多项功能时，需要分别采用不同的模型，能全面且高效实现上述各项功能的研究尚少。考虑到现有研究中YOLOv5s模型具有轻量化、检测速度快的优势，FCHD模型能够在遮挡场景中检测乘客，CSRNet模型能够在密集区域进行人群密度检测。本文集成上述3种模型的检测功能及优势，基于异质集成学习方法，设计了一种城轨列车客流智能分析系统。

1   系统设计

1.1   系统架构

本文设计的城轨列车客流智能分析系统（简称：本文系统），采用云边协同架构，基于嵌入式边缘计算终端，实现城轨列车车厢内部信息的实时分析；采用Web可视化技术，实现线路（网）中心对城轨列车客流状况的远程监控。系统架构如图1所示，由部署于车辆司机室的车载边缘端和部署于线路（网）控制中心的地面中心端2部分组成，通过车地无线传输网络实现二者间的数据传输。

图  1  列车客流智能分析系统架构

下载: 全尺寸图片 幻灯片

1.1.1   车载边缘端

实现数据接入和智能计算功能。包括数据接入层和智能计算层。

数据接入层负责拉取并解析车厢网络摄像机捕捉到的实时画面，同时，通过列车控制与管理系统（TCMS，Train Control and Management System）获取行车报站、车厢满载率（轴重）和列车告警等数据。

智能计算层将YOLOv5s、FCHD和CSRNet等3个模型作为基模型，依据功能及适用场景进行模型集成，基于集成后的模型对接入数据进行计算，得到车厢拥挤度和客流计数等计算结果。

1.1.2   地面中心端

实现数据存储、数据服务和应用展示功能。数据存储层负责存储传输的实时数据及离线数据；数据服务层对数据存储层的数据进行处理，得到本文系统所需要的应用信息，并在应用展示层进行展示，向用户提供线路载客分布和列车客流分布等信息。

1.2   系统功能

1.2.1   车厢客流统计

利用智能计算层的计算能力，本文系统能够在车载边缘端实现列车车厢客流统计功能，对检测到的列车各车厢乘客数量及人群密度进行统计。

1.2.2   拥挤度识别

根据客流密度、乘客目标分布等情况，本文系统能够结合列车环境进行拥挤度识别。客流相关数据通过车地无线网络上传至地面中心，由站内综合资讯屏等终端显示下趟列车的车厢拥挤情况，方便乘客选择相对空闲的车厢乘车。相关客流数据还可用于其他业务系统，辅助智能调度与应急指挥等功能。

1.2.3   列车清客确认

当列车到站后需要对车厢进行清客时，可通过实时视频检测车厢内是否存在滞留乘客^[9]。当有乘客滞留时，系统将异常结果发送至司机室及相关运营人员，提示其确认相关情况，在提升城轨列车清客检测效率、确保准确性的同时，降低了人力成本。

2   基于异质集成学习方法的城轨列车客流智能分析

集成学习方法是一种通过集成策略将多个构建好的基模型结合起来，以实现各基模型更好地完成学习任务的机器学习方法。集成学习方法可分为同质集成学习方法和异质集成学习方法，其中，同质集成学习方法的基模型相同，而异质集成学习方法的基模型不同^[10]。本文系统的应用场景更适合采用异质集成学习方法。本文选取了YOLOv5s、FCHD、CSRNet 3类模型作为基模型，以分组Voting方法作为异质集成学习方法。

基于异质集成学习方法的城轨列车智能客流分析流程如图2所示，分为基模型训练、异质集成学习、列车客流检测及分析3个部分。（1）通过基模型训练，得到适用于列车客流分析的YOLOv5s、FCHD、CSRNet 3个基模型；（2）训练完成后，对各基模型进行测试及评估，根据评估结果进行基于分组Voting方法的异质集成学习，得到分组Voting模型；（3）列车客流检测及分析时，将列车监控实时采集的图像输入分组Voting模型进行客流检测，检测完成后输出检测结果。

图  2  城轨列车客流智能分析流程

下载: 全尺寸图片 幻灯片

2.1   基模型训练

2.1.1   YOLOv5s

YOLOv5s模型是一种单阶段目标检测模型，具有检测速度快、精度高、可进行多类别检测等优点。在城轨运营时段平峰期有较好的人员计数效果，但在存在遮挡、拥挤、重叠等情况的密集客流场景下表现不佳。

2.1.2   FCHD

FCHD模型是一种单阶段人头检测模型，提出了轻量级人头检测网络和先验框尺度的选择，适用于拥挤、有遮挡的复杂场景。其模型运行时间短，内存需求低，且检测结果较为精确，但仅适用于进行人头检测。

2.1.3   CSRNet

CSRNet模型是一种适用于拥挤场景人群计数的二阶段网络模型，可生成高质量的人群分布密度图，适用于运营高峰期大客流密度环境，但由于其为二阶段检测算法，检测时相比上述2种模型耗时较长。

2.1.4   训练方法

本文采用北京市轨道交通某线路列车各时段监控视频作为图像来源制作的列车监控数据集，对各基模型进行了训练，为提升模型训练精度，对其进行大量的样本训练，不区分运营时段，并将数据集中训练集的所有图像用于各个基模型的训练。

2.2   异质集成学习方法

2.2.1   Voting方法

Voting方法是一种常用的异质集成学习方法，其核心思想为，收集多个基模型的输出结果，并基于少数服从多数的原则，得到最终的结果。加权Voting方法为各个基模型增加了权重，各基模型输出结果按权重大小影响最终结果。应用于本文系统的客流检测问题时，可依据各基模型的测试效果定义权重，并计算出最终结果。由于本文各基模型的适用场景不同，因此，结合本文系统实际应用，在加权Voting方法的基础上进行改进，提出一种分组Voting方法。

2.2.2   分组Voting方法建模

分组Voting方法适用于应用场景中具有不同特征的子场景，单一基模型难以满足全部子场景的需求，且各基模型在各子场景中表现差异较大的情况。其核心思想是根据各子场景特征及各基模型在场景中的表现情况对基模型进行分组，将适用于同一子场景的基模型归为一组，共同解决该场景下的问题。分组Voting方法的建模流程为：将基模型根据功能及适用场景分组；计算各组基模型的投票权重；按子场景出现情况为全应用场景匹配对应的基模型组。

（1）在本文系统应用中，平峰期客流较少，适合采用YOLOv5s和FCHD模型作为基模型；高峰期客流较多，且存在遮挡、拥挤等情况，适合采用FCHD和CSRNet模型作为基模型；清客期由于乘客目标较少，因此，仅采用YOLOv5s模型即可满足检测需求。高峰期通常为工作日7：00～9：00和17：00～19：00，平峰期通常为工作日其余运营时间及双休日全天，清客期为列车到站后及列车出现故障后。根据线路和列车运营情况，可对上述时间范围重新进行定义。

（2）在分组Voting模型中，根据各组基模型检测结果特征，分别为平峰期和高峰期分组中基模型所占权重定义不同的计算方式。

①平峰期分组中各基模型（YOLOv5s和FCHD模型）所占权重的计算公式为

式中，$ {W_i} $ 表示平峰期分组中基模型i所占权重，i =1,2；P为基模型的精确率，其公式为

式中，TP为将正样本预测为正样本的数量；FP为将负样本预测为正样本的数量。

②高峰期分组中各基模型（FCHD和CSRNet模型）所占权重的计算公式为

式中，$ {W_i} $ 表示高峰期分组中基模型i所占权重；E_MAE为模型的平均绝对误差（MAE， Mean Absolute Error）评价指标，其计算公式为

式中，N为测试图像的数量；$ {C_i} $ 为模型在第i张图像中检测到的目标个数，$ C_i^{GT} $ 为第i张图像中实际的目标个数。

（3）在实际应用时，根据高峰期、平峰期、清客期3类子场景出现情况，以及获取监控图像的采集时间，匹配对应的基模型组。

2.3   列车客流检测及分析

2.3.1   分组Voting模型列车客流检测

分组Voting模型检测流程如图3所示，图中YOLOv5s、FCHD、CSRNet模型为进行训练后得到的基模型。

图  3  分组Voting模型检测流程

下载: 全尺寸图片 幻灯片

（1）接收监控图像，并判断该图像采集时间处于哪个时段。

（2）若为清客期，则应用YOLOv5s模型，检测是否还存在乘客；若为高峰期，则应用FCHD和CSRNet模型进行客流检测，再对二者检测结果进行加权计算；若为平峰期，应用YOLOv5s和FCHD模型进行客流检测，再对二者检测结果进行加权计算，检测结果可根据分析需求进行密度、数量及拥挤度的结果转换。

（3）当平峰期检测得到的客流密度过高，且超出定义的阈值时，说明当前客流密度已达高峰期水平，应采用高峰期的基模型来进行检测。

2.3.2   列车客流分析

分组Voting模型根据各基模型的检测结果及加权计算，获取各时段的客流检测统计值，根据现有通用的拥挤度评估定义，当客流密度< 4人/m²时，拥挤度识别为舒适状态；当客流密度> 4人/m²，且< 6人/m²时，拥挤度识别为较拥挤状态；当客流密度> 6人/m²时，拥挤度识别为拥挤状态。在清客期，当检测得到的乘客目标≥1时，即判断存在滞留乘客，需将异常结果通过接口上报。

3   实验及结果分析

3.1   实验数据集

本文采用北京市轨道交通某线路列车各时段监控视频作为图像来源，将其进行逐张标注后形成数据集，包含1000张图像，按7∶3比例划分训练集和测试集。针对本文分组Voting模型中各类基模型的分组集成情况，将测试集按运营时期进行划分，300张测试集图像中包含平峰期图像150张、高峰期图像100张、清客期图像50张。由于模型不同，所需要的训练数据格式各异，对数据集按需进行了不同方式的标注：YOLOv5s和FCHD模型需要对乘客头部进行标注；CSRNet模型需要对人头位置坐标和人数进行统计并生成.mat格式文件。

3.2   评价指标

本文采用MAE和均方误差（MSE，Mean Square Error）作为模型评价指标，用于评价模型在客流检测应用中的检测准确性和鲁棒性。MSE计算公式为

3.3   实验结果分析

各基模型检测效果分别如图4～图6所示，图4为YOLOv5s模型客流检测结果；图5为FCHD模型客流检测结果，能够对图像中乘客头部进行检测；图6为CSRNet模型检测结果，能够生成客流密度图像，进而用于客流统计。

图  4  YOLOv5s模型检测结果

下载: 全尺寸图片 幻灯片

图  5  FCHD模型客流检测结果

下载: 全尺寸图片 幻灯片

图  6  CSRNet模型客流检测结果

下载: 全尺寸图片 幻灯片

分别对YOLOv5s、FCHD、CSRNet模型及分组Voting模型用测试集中平峰期、高峰期、清客期的图像进行测试，得到的MAE及MSE指标值如表1和表2所示。

表  1  各模型在各阶段测试集中的MAE指标值

模型	平峰期	高峰期	清客期
YOLOv5s	2.07	-	0.90
FCHD	2.04	4.06	-
CSRNet	-	3.10	-
分组Voting	2.02	3.09	0.90

下载: 导出CSV 

| 显示表格

表  2  各模型在各阶段测试集中的MSE指标值

模型	平峰期	高峰期	清客期
YOLOv5s	2.39	-	1.12
FCHD	2.37	4.62	-
CSRNet	-	3.54	-
分组Voting	2.35	3.52	1.12

下载: 导出CSV 

| 显示表格

由表1、表2可知，本文系统采用的分组Voting模型较各基模型在MAE、MSE 2个指标上均有所提升，具有更高的准确性和鲁棒性，可以更好地实现拥挤度识别、客流统计及清客确认功能。

3.4   应用效果

目前，本文系统已在北京地铁大兴机场线进行应用试验，在试验过程中，能实现各项系统功能，且各时段客流检测准确度均在95%以上，拥挤度识别结果符合实际场景，如图7所示。系统运行稳定、试验效果良好。

图  7  拥挤度识别应用展示

下载: 全尺寸图片 幻灯片

4   结束语

城轨的智能化发展应致力于不断完善乘客服务体系。本文设计的基于异质集成学习方法的城轨列车客流智能分析系统，可有效提高客流检测准确性，为提升乘客服务水平，强化安全保障水平提供了思路，为智慧城轨的客流监测智能化提供参考。当前，城轨列车客流智能分析系统与外部系统联动较少，后续工作将研究如何利用数据处理和数据挖掘技术，提升城轨运营工作的客流预警及安全联动能力。