基于改进YOLOv8人员检测模型的视觉安全检测方法

王鹏展; 马露露; 王震宇; 武鹏

doi:10.3969/j.issn.1005-8451.2024.11.10

基于改进YOLOv8人员检测模型的视觉安全检测方法

中铁电气化局集团有限公司　设计研究院，北京　100166

基金项目: 国家重点研发计划资助（2023YFB4302000）

详细信息

作者简介:
王鹏展，工程师

马露露，工程师

中图分类号: U226.8 : TP39
计量
- 文章访问数: 57
- HTML全文浏览量: 39
- PDF下载量: 27
出版历程
- 收稿日期: 2024-06-19
- 刊出日期: 2024-11-24

Visual safety detection method based on improved YOLOv8 personnel detection model

Design and Research Institute, China Railway Electrification Engineering Group Co. Ltd., Beijing　100166, China

摘要

摘要:
针对影响铁路接触网智能自轮运营维护装备车组（简称：运维车组）作业安全的人员侵入问题，提出了一种基于改进YOLOv8人员检测模型的视觉安全检测方法。以YOLOv8模型为基础，引入FasterNet Block、高效多尺度注意力模块（EMA，Efficient Multi-Scale Attention Module），学习跨空间聚合像素特征；针对单模型漏检，同场景下分别进行头部目标检测和身体实例分割，融合2个识别框，得到精确的识别结果；采用坐标转换法实现人员精准定位，确定人车距离并划分危险等级。该方法实现“识别—定位—预警”全流程，将其应用于智能运维车组中，通过对作业区域人员的检测定位，提升智能运维车组作业安全性。
- YOLOv8 /
- 目标检测 /
- 实例分割 /
- 坐标转换 /
- 危险等级
Abstract:
This paper proposed a visual safety detection method based on improved YOLOv8 personnel detection model to address the issue of personnel intrusion that affected the operational safety for intelligent self wheel operation and maintenance equipment vehicle sets (referred to as operation and maintenance vehicle sets) of railway catenary system. Based on the YOLOv8 model and introduced FasterNet Block and Efficient Multi Scale Attention Module (EMA), the paper learned cross spatial aggregated pixel features, focused on single model missed detection and performed head target detection and body instance segmentation separately in the same scene, fusing two recognition boxes to obtain accurate recognition results, and used coordinate transformation method to implement precise personnel positioning, determine the distance between people and vehicles, and classify the danger level. This method implements the entire process of "recognition - positioning - warning" and can be applied to intelligent operation and maintenance vehicle sets. By detecting and locating personnel in the work area, it improves the safety of intelligent operation and maintenance vehicle sets.
- YOLOv8 /
- object detection /
- instance segmentation /
- coordinate transformation /
- danger level

HTML全文

图 1 视觉安全检测系统结构

下载: 全尺寸图片幻灯片

图 2 改进后的YOLOv8人员检测模型

下载: 全尺寸图片幻灯片

图 3 FasterNet Block模块

下载: 全尺寸图片幻灯片

图 4 C2f_f网络结构

下载: 全尺寸图片幻灯片

图 5 EMA网络结构

下载: 全尺寸图片幻灯片

图 6 6$ \times $6棋盘格标定板及位置示意

下载: 全尺寸图片幻灯片

图 7 人员坐标还原过程

下载: 全尺寸图片幻灯片

图 8 实际坐标系与人车距离示意

下载: 全尺寸图片幻灯片

表 1 人员图像数据集样本信息单位：张

种类	初始数据集	增强数据集
种类	初始数据集	训练集	验证集	测试集	总计
矩形框头部集	1982	2676	298	330	3304
多边形身体集	1982	2609	290	322	3221

下载: 导出CSV

表 2 目标检测消融试验结果对比

模型	mAP_0.5	mAP_0.5:0.95	FPS/（帧·s^-1）
YOLOv8	88.2%	56.9%	43.85
YOLOv8+EMA	89.3%	59.2%	41.6
YOLOv8+C2f-Faster	89.0%	58.9%	39.84
YOLOv8+EMA +C2f-Faster （本文模型）	89.8%	60.4%	42.5

下载: 导出CSV

表 3 实例分割消融试验结果对比

模型	mAP_0.5	mAP_0.5:0.95	FPS/（帧·s^-1）
YOLOv8	91.1%	70.0%	49.51
YOLOv8+EMA	90.9%	69.3%	49.45
YOLOv8+C2f-Faster	91.8%	71.0%	48.27
YOLOv8+EMA +C2f-Faster （本文模型）	92.1%	73.3%	47.39

下载: 导出CSV

表 4 坐标验证结果

编号	转换坐标/m	实际坐标/m	误差/cm
1	（1.83,1.72）	（1.85,1.70）	（2,-2）
2	（1.51,1.68）	（1.55,1.70）	（4,2）
3	（2.63,1.69）	（2.60,1.70）	（-3,1）
4	（2.32,1.68）	（2.30,1.70）	（-2,2）
5	（2.57,1.02）	（2.60,1.00）	（3,-2）
6	（2.08,1.03）	（2.10,1.00）	（2,-3）
7	（2.84,1.03）	（2.80,1.00）	（-4,-3）
8	（2.58,1.39）	（2.60,1.40）	（2,1）
9	（2.28,1.36）	（2.30,1.40）	（2,4）
10	（2.78,1.37）	（2.80,1.40）	（2,3）

下载: 导出CSV

参考文献(17)

[1]	Faugeras O D, Luong Q T, Maybank S J. Camera self-calibration: theory and experiments[C]//Proceedings of the Second European Conference on Computer Vision, 19–22 May, 1992, Santa Margherita Ligure, Italy. Berlin, Heidelberg: Springer, 1992. 321-334.
[2]	邱晓荣,刘全胜,赵吉. 基于主动视觉的手眼系统自标定方法[J]. 中国测试,2018,44(7):1-6. DOI: 10.11857/j.issn.1674-5124.2018.07.001
[3]	刘伦宇. 高精度单目视觉定位技术及其在PCBA中的应用研究[D]. 重庆:重庆理工大学,2022.
[4]	马建. 基于机器视觉的工件识别与定位系统的设计与实现[D]. 沈阳:中国科学院大学(中国科学院沈阳计算技术研究所),2020.
[5]	Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. DOI: 10.1109/34.888718
[6]	杨鹿情. 基于单目视觉的室内移动机器人定位技术研究[D]. 上海:上海师范大学,2020.
[7]	Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, 27-30 June, 2016, Las Vegas, NV, USA. New York, USA: IEEE, 2016. 779-788.
[8]	Redmon J, Farhadi A. YOLOv3: an incremental improvement[DB/OL]. (2018-04-08)[2024-06-20]. http://arxiv.org/abs/1804.02767.
[9]	Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, 21-26 July, 2017, Honolulu, HI, USA. New York, USA: IEEE, 2017. 7263-7271.
[10]	Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: Optimal speed and accuracy of object detection[C]// Proceedings of European Conference on Computer Vision (ECCV). Glasgow, UK, 2020, 10934.
[11]	Zhu X K, Lyu S C, Wang X, et al. TPH-YOLOv5: improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision Workshops, 11-17 October, 2021, Montreal, BC, Canada. New York, USA: IEEE, 2021. 2778-2788.
[12]	ZHENG GE, SONGTAO LIU, FENG WANG, et al. YOLOX: Exceeding YOLO Series in 2021[EB/OL]. (2022-12-23)[2024-06-20]. https://arxiv.org/pdf/2107.08430.pdf.
[13]	Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 17-24 June, 2023, Vancouver, BC, Canada. New York, USA: IEEE, 2023. 7464-7475.
[14]	Reis D, Kupec J, Hong J, et al. Real-Time Flying Object Detection with YOLOv8[EB/OL]. (2023-05-17)[2024-06-20]. https://arxiv.org/pdf/2305.09972.pdf.
[15]	Chen J R, Kao S H, He H, et al. Run, don't walk: chasing higher FLOPS for faster neural networks[C]//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 17-24 June, 2023, Vancouver, BC, Canada. New York, USA: IEEE, 2023. 12021-12031.
[16]	Ouyang D L, He S, Zhang G Z, et al. Efficient multi-scale attention module with cross-spatial learning[C]//Proceedings of ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 04-10 June, 2023, Rhodes Island, Greece. New York, USA: IEEE, 2023. 1-5.
[17]	边原,赵俊清. 智能识别与空间定位技术在高速铁路车站的应用研究[J]. 铁道运输与经济,2024,46(2):97-104. DOI: 10.16668/j.cnki.issn.1003-1421.2024.02.12.