基于卷积网络和深度相机的飞机牵引车防碰撞安全检测系统设计

孙丰源; 张军; 黄明辉; 向富尧; 王一旋; 刘宇新

doi:10.12404/j.issn.1671-1815.2500161

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (4) :1728-1734 DOI: 10.12404/j.issn.1671-1815.2500161

航空、航天

基于卷积网络和深度相机的飞机牵引车防碰撞安全检测系统设计

孙丰源 ¹ ,
张军 ¹^,^* ,
黄明辉 ² ,
向富尧 ¹ ,
王一旋 ¹ ,
刘宇新 ¹

作者信息 +

Design of Aircraft Tractor Anti-collision Safety Detection System Based on Convolutional Network and Depth Camera

Author information +

文章历史 +

摘要

针对飞机牵引作业时的视野盲区大，存在安全隐患的问题，提出以深度相机与卷积神经网络（convolutional neural network，CNN）模型相融合的防碰撞检测方法。采用卷积网络实现环境目标的自动识别，利用深度相机获取目标距离信息，二者联合使用实现牵引过程障碍物的定位。将训练的卷积网络模型和ZED2i双目相机部署再飞机牵引车上，通过CAN总线进行通信，在试验场开展了避障实验。结果表明：构建的卷积网络模型识别准确率达到0.911，召回率达到0.803；在10 m测距范围内，测距误差在0.3 m以内，能够为飞机牵引车在牵引作业时的防碰撞安全检测提供技术参考。

Abstract

To address the issues of large blind spots and safety hazards during aircraft towing operations，a collision avoidance detection method integrating depth cameras and convolutional neural network（CNN） models was proposed. The CNN model was employed to automatically identify environmental targets，while the depth camera captured target distance information. The combined use of both enabled precise obstacle localization during the towing process. The trained CNN model and ZED2i binocular camera were deployed on the aircraft tractor，with communication facilitated via a CAN bus. Obstacle avoidance experiments were conducted in a test field. The results demonstrate that the constructed CNN model achieves a recognition accuracy of 0.911 and a recall rate of 0.803.Within a 10-meter ranging range，the distance measurement error remains below 0.3 meters，providing technical reference for collision avoidance safety detection during aircraft tractor towing operations.

Graphical abstract

关键词

飞机牵引车 / 防碰撞检测 / 深度相机 / 卷积神经网络（CNN） / 目标定位

Key words

aircraft tractor / collision avoidance detection / depth camera / convolutional neural network（CNN） / target positioning

引用本文

引用格式 ▾

孙丰源, 张军, 黄明辉, 向富尧, 王一旋, 刘宇新. 基于卷积网络和深度相机的飞机牵引车防碰撞安全检测系统设计[J]. 科学技术与工程, 2026, 26(4): 1728-1734 DOI:10.12404/j.issn.1671-1815.2500161

SUN Feng-yuan, ZHANG Jun, HUANG Ming-hui, XIANG Fu-yao, WANG Yi-xuan, LIU Yu-xin. Design of Aircraft Tractor Anti-collision Safety Detection System Based on Convolutional Network and Depth Camera[J]. Science Technology and Engineering, 2026, 26(4): 1728-1734 DOI:10.12404/j.issn.1671-1815.2500161

登录浏览全文

4963

注册一个新账户忘记密码

飞机牵引车作为在地面顶推和牵引飞机的专用车辆^[1]，可以将飞机推离机场廊桥、推上飞机跑道、推入维修场地或停机库等，已经成为最重要的机场地面特种设备。由于飞机牵引车工作环境的特殊性，人工操作时存在视野盲区大、驾驶员难以多角度观察人员或机场设施等问题，易引发安全隐患^[2-3]。因此，研究飞机牵引车的防碰撞安全检测系统具有重要工程意义。

随着机器视觉和深度学习技术的发展，基于视觉防碰撞预警方法得到了广泛的应用 ^[4-7]^。Jiang等^[8]针对自动化仓储系统中存取机器人在复杂环境下的实时碰撞检测难题，提出了一种基于残差混合注意力的单目视觉防撞方法，为仓储机器人提供了高效可靠的视觉防撞解决方案。石立伟等^[9]针对小型水下机器人编队协调周期长、碰撞率高的问题，提出基于双目视觉的领航者-跟随策略，通过点匹配算法实现目标的相对定位，结合安全阈值控制可使跟随机器人在550 mm距离紧急制动，有效降低碰撞风险。杨明等^[10]设计了一种基于机器视觉技术的船桥防碰撞自动控制系统，利用双目视觉传感器采集船舶航行环境图像，可实时根据环境图像计算船舶与桥墩间的距离，实现了船桥防碰撞预警。Taromi等^[11]针对传统立体视觉系统中因相机校准误差导致的距离与尺寸测量精度问题，采用YOLOv8实时检测和跟踪被测目标，结合多层感知机（multilayer perceptron，MLP）学习视差法实现了物体距离和尺寸的准确测量。赵晓林等^[12]提出了一种基于视觉共享的多无人机协同防碰撞方法，使无人机集群在部分视觉遮挡情况下实现全局的协同防碰撞，提高了防碰撞行为的智能性。上述研究为飞机牵引车防碰撞系统的设计提供了参考，但现有防碰撞研究多集中于汽车和机器人领域，针对特种车辆（如飞机牵引车）的研究仍较为匮乏。

鉴于此，以自制25 t飞机牵引车为研究对象，针对机场环境中的飞机牵引车防碰撞安全检测需求，提出了一种基于深度相机和卷积网络的防碰撞安全检测方法，在目标检测的基础上引入双目测距技术，实现了目标类别与距离信息的获取。将开发的卷积网络模型和ZED2i双目相机在飞机牵引车上进行部署，使用CAN总线通信技术实现识别模块与控制系统之间的通信，可为飞机牵引作业时的防碰撞安全检测提供技术参考。

1 设备与方法

为了保障飞机牵引车牵引作业时的安全性，设计图1所示的飞机牵引车防碰撞安全检测方案。首先，通过USB3.0接口将双目相机采集到的图像信息输入上位机PC中；其次，通过YOLOv8目标检测算法输出目标检测结果以及测距特征点，同时进行相机标定得到相机焦距、旋转矩阵、平移矩阵等参数，并利用标定参数结合双目相机测距算法输出测距结果；最后，将检测目标的距离信息通过CAN通讯发送到下位机PLC控制器中，并在PLC控制器中编写相关程序，实现牵引车报警装置的报警控制以及行走电机的抱闸与松闸控制。

飞机牵引车防碰撞安全监测系统组成如图2所示。将深度相机安装在飞机牵引车车头前端，结合上位机PC实现目标物的检测与距离信息获取。通讯卡PCAN设备的USB端口连接上位机，另一端通过CAN总线与车辆的PLC控制器相连，用于将上位机PC端的目标距离信息通过CAN总线通信发送到车辆控制器中，进而实现牵引车近距离的防碰撞预警和启停控制。

2 目标检测方法

2.1 数据集收集与处理

防碰撞安全检测系统以机场中的人员、车辆为感知对象，通过检测目标与车辆距离进行预警或刹车，避免安全事故。通过现场实验采集数据方式获得机场中地面工作人员、地面运输车辆和飞机三类数据集共1 000张，为提高模型鲁棒性，采用随机旋转、缩放、亮度与对比度调节等数据增强方法，将数据集扩充至1 500张。使用Labelimg标注工具进行类别标注，并将标注结果保存为TXT文件供后续网络训练使用。最后，将数据集按照6∶2∶2随机划分为训练集、验证集以及测试集。部分数据集样例如图3所示。

2.2 识别模型

考虑到模型性能，采用卷积网络模型进行训练，其网络结构如图4所示，由输入端、主干网络、颈部网络和检测头构成^[13-15]。其中，输入端接收深度相机图像数据，并将图像数据传递给主干网络进行处理；主干网络负责提取输入图像的特征；颈部网络负责进一步处理主干网络提取的特征，进行特征融合等操作；检测头负责检测框的位置和类别概率等输出。

输入端默认输入的图像尺寸为640×640，但在实际的检测任务中，图片的长宽比常有所差异，为了应对这个问题，YOLOv8在测试或进行模型推理时采用自适应图片缩放的方法，以提高目标检测和推理的速度。此外，YOLOv8在训练中采用了四种数据增强方法：马赛克增强（Mosaic）、混合增强（Mixup）、空间扰动（random perspective）和颜色扰动（HSV augment），以此来增加训练数据的多样性，提高模型对复杂场景和不确定性因素的适应能力，从而改善目标检测模型的性能和鲁棒性。

2.3 模型性能评价

常用准确率（precision，记为P）、召回率（recall，记为R）、平均精度（average precision，AP）、平均AP 值（mean average precision，mAP）来评价模型性能的好坏。

（1）准确率与召回率。

（1）P=$\frac{TP}{TP+FP}$

（2）R=$\frac{TP}{TP+FN}$

式中：TP为检测正确的目标数量；FP为检测错误的目标数量；FN为漏检数量。

一个性能较好的模型应该在精确率较高的情况下具有较高的召回率。

（2）AP与mAP。其中，AP为在某一阈值下精确率与召回率所绘制的Precision-Recall 曲线图与横纵坐标轴围成的面积，mAP为多个目标类别的AP取平均值，若总类别数为N，则mAP的计算公式为

（3）mAP=$\frac{\sum _{i=1}^{N}A{P}_{i}}{N}$

式（3）中：AP_i为第i个目标类别的AP。3 目标距离检测方法

3.1 相机标定

在进行双目相机测距之前，需要先获取双目相机的焦距、主点坐标、畸变参数等内部参数和旋转矩阵、平移向量等外部参数。根据相机性能，使用ZED2i双目相机的标定工具ZED Calibration进行相机标定，标定界面如图5所示。

3.2 目标距离提取

YOLOv8检测得到的预测结果是目标的类别信息和图像上的坐标信息，需要进一步将相机坐标转变到实际物理距离。

ZED2i双目相机使用视差的几何关系计算深度信息，如图6所示。假设左右两个成像平面共面，光轴平行，焦距相同都为f，每个目标点P的深度Z由式（4）计算。

（4）Z=$\frac{fB}{{{x}^{l}}_{i}-{{x}^{r}}_{i}}$

式（4）中：B为两相机的基线距离；x^l_i、x^r_i分别为P点在左、右两个图像中像素点的横坐标，x^l_i-x^r_i为视差值。由式（4）可以看出，深度Z的变化与视差成反比，与基线成正比。

ZED2i双目相机获取目标深度值示意图如图7所示。其将左图像作为原始帧，通过左图像与右图像某对应像素点的匹配关系计算出视差值，结合相机标定所获得的相机焦距与基线距离由计算出该点对应的深度值Z。因此，如果给定该图像坐标系中某个像素点（u'，v'）的坐标，则可以用该坐标搜索出其在深度图中对应的深度值Z。

结合ZED2i的深度信息与YOLOv8的目标可实现特定类别目标的测距功能，检测距离以YOLOv8检测框的中心作为测距特征点^[16]。目标测距计算方法如下：首先通过YOLO模型输出被检测物体的类别与检测框的左顶点（u_max，v_min）、右顶点（u_max，v_max）等信息；其次，根据YOLO模型的输出信息计算检测框的中心点p（u，v）；最后选取p（u，v）作为测距特征点，并由上述测距原理计算出该点对应的深度值。p（u，v）的计算公式为

（5）$\left\{\begin{array}{l}u=\frac{{u}_{min}+{u}_{max}}{2}\\ v={v}_{max}\end{array}\right.$

4 实验结果分析

4.1 网络训练

实验环境在操作系统为Ubuntu 18.04开展，计算的GPU为NVIDIA GeForce RTX 3060，深度学习检测的Python版本为3.8.0，深度学习框架Pytorch版本为1.10.2，Cuda版本为 11.3，Cudnn版本为8.2.1；ZED2i软件工具包为ZED_SDK 3.8.2，Python中CAN的通信包Python-can版本为4.3.1。

在上述环境下进行模型训练，模型训练主要参数的设置如表1所示。

为了提高机场人员检测模型的收敛速度和准确率，在训练时加载了YOLOV8m.pt预训练模型进行训练，同时将训练轮次设置为自动停止，当模型精度不再有较大波动时，训练会自动停止。

4.2 检测模型性能分析

为了评估本文模型的检测性能，使用检测模型的准确率P、召回率R、判定正负样本的mAP@0.5（mAP@0.5表示阈值为0.5下的平均精度）、mAP@0.5：0.95（mAP@0.5：0.95表示阈值在（0.5，0.95）区间，步长为0.05的mAP平均值），如表2所示。

由表2可知，该检测模型总类别的识别准确率达到0.911，召回率达到0.803，mAP@0.5达到0.909，mAP@0.5：0.95达到0.526，同时上述参数在各单个类别的也达到了较高的数值，表明本系统所用模型对机场中的人员有较好的识别效果。图8展示了模型准确率P、召回率R关于置信度的曲线，图9展示了模型准确率-召回率曲线，曲线与两坐标轴所围的面积即为平均精度，面积越大，模型性能越好。从图8、图9的曲线可以看出，准确率P、召回率R以及平均精度均能取得不错的结果，能够满足本系统的检测需求。

图10可视化了飞机牵引车防碰撞检测模型的80×80、40×40、20×20三个检测层，可以看出，在进行牵引作业防碰撞检测时，使用卷积网络模型拥有丰富的语义特征，具有较好的特征表现。综上所述，卷积网络模型的检测性能较好，能够较好地胜任飞机牵引车防碰撞安全监测功能。

4.3 防碰撞安全试验

为了保证本文车辆感知系统的可靠性，在进行车辆感知实验前，需先验证ZED2i双目相机的测距效果，验证方式如下：实验人员站在相机（固定在牵引车的车头前端）的前端，使用卷尺测量相机固定处到人员的距离，同时记录PC端ZED2i双目相机测距界面中显示的相机测距距离。通过将卷尺所测距离与相机所测距离进行对比，得出相机的测距误差。图11展示了ZED2i双目相机误差验证的实验场景，由于本系统主要用于对近距离人员预警以及防止车辆对人员造成碰撞伤害，因此在10 m以内进行实验。经多次测量后，取平均值得出在10 m以内的范围内ZED2i双目相机的最大测距误差<0.3 m，且在距离相机越近的地方，测距误差越小，如在5 m处的误差能达到0.1 m。因此可得，ZED2i双目相机的测距效果较好，其测距精度可满足本系统对近距离人员预警以及防止车辆对人员造成碰撞伤害的要求。

实现牵引车的防碰撞安全检测功能，需将相机检测到的人员距离信息通过CAN通讯从上位机PC端发送到PLC控制系统中，当检测到有多名人员时，选取相机所测距离的最小值发送到PLC控制器中，飞机牵引车的防碰撞安全检测实验场景如图12所示。

图12为两名实验人员分别距离ZED2i双目相机7.8 m与10.4 m处的实验场景，此时报警灯处于关闭状态。启动车辆，使牵引车逐渐朝实验人员的方向行驶，并利用PCAN-USB设备实时记录下相机测量的距离信息，车辆行驶过程中相机所测距离信息的变化情况如图13所示。可以看出，当检测到实验人员与相机的最小距离大于2 m时，车辆以设定速度行驶，随着时间推移，采样距离逐渐减小；当检测到实验人员距离相机最小距离为3 m时，观察到报警灯开始报警；当行驶到相机距离最近的实验人员只有2 m处时，牵引车停止行驶。经上述方式多次实验验证可得，所设计的牵引车防碰撞安全检测系统能够有效实现近距离的人员预警以及防止车辆对人员造成碰撞伤害的要求。

5 结论

（1）针对飞机牵引车牵引作业时存在安全隐患的问题，提出了深度相机与卷积网络相融合的飞机牵引车防碰撞安全监测方法与系统，并通过实验验证了系统的可靠性。

（2）采用ZED2i双目相机和上位机在自制25 t飞机牵引车上搭建了机场环境的防碰撞安全检测系统，通过CAN总线与飞机牵引车进行信息交互，实现了飞机牵引车的防碰撞安全检测功能。

（3）采用YOLOv8和深度相机构建了防碰撞安全检测系统，识别准确率达到0.911，召回率达到0.803，mAP@0.5达到0.909，mAP@0.5：0.95达到0.526，在10 m测距范围内，误差小于0.3 m，能够有效满足飞机牵引车在牵引作业中的防碰撞安全检测需求。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	张军, 文川, 阳星, 等. 基于ADRC的电传动飞机牵引车控制系统设计[J]. 北京航空航天大学学报, 2023, 49(5): 1017-1026.

[2]	Zhang Jun, Wen Chuan, Yang Xing, et al. Design of electric drive aircraft tractor control system based on ADRC[J]. Journal of Beijing University of Aeronautics and Astronautics, 2023, 49(5): 1017-1026.

[3]	张军, 黄明辉, 王玥琳, 等. 基于MPC的飞机牵引车轨迹跟踪研究[J]. 北京航空航天大学学报, 2025, 51(9): 2916-2926.

[4]	Zhang Jun, Huang Minghui, Wang Yuelin, et al. Research on trajectory tracking of aircraft tractor based on MPC[J]. Journal of Beijing University of Aeronautics and Astronautics, 2025, 51(9): 2916-2926.

[5]	唐伟, 钟沛, 袁彬彬, 等. 牵引车主动防碰撞预警及驾驶员疲劳检测系统的设计与应用[J]. 航空维修与工程, 2022(2): 32-33.

[6]	Tang Wei, Zhong Pei, Yuan Binbin, et al. Design and application of active collision avoidance warning and driver fatigue detection system for tractors[J]. Aviation Maintenance & Engineering, 2022(2): 32-33.

[7]	张岳, 王晶, 王鼎衡, 等. 基于行人轨迹预测的无人车动态避障方法[J]. 系统工程与电子技术, 2025, 47(7): 2371-2382.

[8]	Zhang Yue, Wang Jing, Wang Dingheng, et al. Dynamic obstacle avoidance method for unmanned vehicles based on pedestrian trajectory prediction[J]. Systems Engineering and Electronic Technology, 2025, 47(7): 2371-2382.

[9]	李立凡, 曹鹏彬, 杜兵, 等. 基于激光雷达与深度相机融合的行人检测方法[J]. 激光与红外. 2024, 54(10): 1547-1553.

[10]	Li Lifan, Cao Pengbin, Du Bing, et al. Pedestrian detection method based on LiDAR and depth camera fusion[J]. Laser & Infrared, 2024, 54(10): 1547-1553.

[11]	Zhu Z, Wu F, Sun W, et al. Depth estimation based on mmwave radar and camera fusion with attention mechanisms and multi-scale features for autonomous driving vehicles[J]. Electronics. 2025, 14(2): 300.

[12]	范亚龙, 李琦, 于令君. 基于深度学习的冶炼工人安全着装监测系统[J]. 科学技术与工程. 2023, 23(31): 13626-13631.

[13]	Fan Yalong, Li Qi, Yu Lingjun. Safety clothing monitoring system for smelting workers based on deep learning[J]. Science Technology and Engineering, 2023, 23(31): 13626-13631.

[14]	Jiang Y, Lu K, Yang Z, et al. Monocularvisual anti-collision method based on residual mixed attention for storage and retrieval machines[J]. Expert Systems with Applications, 2024, 255: 124640.

[15]	石立伟, 鲍鹏筱, 陈占, 等. 水下球形机器人视觉防碰撞编队策略[J]. 兵工自动化, 2022, 41(10): 79-83, 87.

[16]	Shi Liwei, Bao Pengxiao, Chen Zhan, et al. Visual anti-collision formation strategy for underwater spherical robot[J]. Ordnance Industry Automation, 2022, 41(10): 79-83, 87.

[17]	杨明, 韩旭, 金媛媛, 等. 基于机器视觉技术的船桥防碰撞自动控制系统[J]. 舰船科学技术. 2023, 45(5): 144-147.

[18]	Yang Ming, Han Xu, Jin Yuanyuan, et al. Automatic ship-bridge collision prevention control system based on machine vision technology[J]. Ship Science and Technology. 2023, 45(5): 144-147.

[19]	Taromi A D, Klidbary S H. A novel data-driven algorithm for object detection, tracking, distance estimation, and size measurement in stereo vision systems[J]. Multimedia Tools and Applications, 2024, 21(7): 993-1004.

[20]	赵晓林, 张启瑞, 董家呈, 等. 基于视觉共享的多无人机协同防碰撞方法[J]. 火力与指挥控制, 2023, 48(10): 65-72, 83.

[21]	Zhao Xiaolin, Zhang Qirui, Dong Jiacheng, et al. Cooperative collision avoidance method for multiple UAVs based on vision sharing[J]. Fire Control & Command Control, 2023, 48(10): 65-72, 83.

[22]	周晖, 杨洁, 赵祥飞. YOLOv8轻量化的果园复杂环境下苹果检测算法[J]. 科学技术与工程, 2025, 25(6): 2274-2283.

[23]	Zhou Hui, Yang Jie, Zhao Xiangfei. YOLOv8 lightweight apple detection algorithm in complex orchard environment[J]. Science Technology and Engineering, 2025, 25(6): 2274-2283.

[24]	宋京京, 张振利. 基于YOLOv8n的小目标交通标志检测算法[J]. 科学技术与工程, 2024, 24(36): 15548-15557.

[25]	Song Jingjing, Zhang Zhenli. Small target traffic sign detection algorithm based on YOLOv8n[J]. Science Technology and Engineering, 2024, 24(36): 15548-15557.

[26]	孔建国, 张向伟, 赵志伟, 等. 基于改进YOLOv8的机场飞鸟实时目标检测方法[J]. 科学技术与工程, 2024, 24(32): 13944-13952.

[27]	Kong Jianguo, Zhang Xiangwei, Zhao Zhiwei, et al. Real-time airport bird detection method based on improved YOLOv8[J]. Science Technology and Engineering, 2024, 24(32): 13944-13952.

[28]	徐慧智, 蒋时森, 王秀青, 等. 基于深度学习的车载图像车辆目标检测和测距[J]. 吉林大学学报(工学版), 2025, 55(1): 185-197.

[29]	Xu Huizhi, Jiang Shisen, Wang Xiuqing, et al. Vehicle target detection and ranging based on deep learning for in-vehicle images[J]. Journal of Jilin University(Engineering and Technology Edition), 2025, 55(1): 185-197.