融合音频模态和视觉模态的轻量级多模态疲劳驾驶检测

林浩; 李雷孝

doi:10.12404/j.issn.1671-1815.2506963

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (22) :9586-9595 DOI: 10.12404/j.issn.1671-1815.2506963

自动化技术、计算机技术

融合音频模态和视觉模态的轻量级多模态疲劳驾驶检测

林浩 ¹^,² ,
李雷孝 ¹^,²^,^*

作者信息 +

Lightweight Multimodal Fatigue Driving Detection Based on Integrating Audio and Vision Modalities

LIN Hao ¹^,² ,
LI Lei-xiao ¹^,²^,^*

Author information +

文章历史 +

摘要

视觉、生理信号、车辆行为等常用模态在实际疲劳驾驶检测场景中存在诸多弊端。而语音信号中同样蕴含着有关驾驶者疲劳状况的信息。为了提高疲劳驾驶检测方法的准确性和鲁棒性,提出了一种融合音频模态和视觉模态的轻量级多模态疲劳驾驶检测方法。该方法旨在充分发挥声音特征和眼睛特征各自的优势,实现更为精准、可靠的驾驶员疲劳检测。首先,处理音频模态时,将性能优秀且结构简单的MobileNet v4引入主流的CNN-SE网络中,提出CNN-SE-MN4模型作为基于语谱图的疲劳判定模型。其次,处理视觉模态时,将MobileNetv4替换YOLOv8n的主干网络,并向YOLOv8n的颈部网络中引入无参注意力机制,提出YOLOv8n-MN4模型以检测驾驶员眼部区域,进而根据眼部区域图像判定疲劳状态。最后,基于模糊层次分析对两个模态的疲劳指标赋予权重,综合判定疲劳等级。结果表明,利用MobileNet v4对主流模型的改进都是有效的。相较于传统平均赋权方法,F₁分数可以提高5.7个百分点,验证了引入音频模态的有效性。

Abstract

Several limitations of commonly used modalities, including visual cues, physiological signals, and vehicle behavior, are encountered in real-world driver fatigue detection scenarios. Valuable information related to the driver's fatigue state is also contained in speech signals. To improve the accuracy and robustness of fatigue detection methods, a lightweight multimodal approach integrating audio and visual modalities was proposed. This method was designed to leverage the complementary strengths of acoustic and ocular features for more precise and reliable driver fatigue detection. For the audio modality, the CNN-SE-MN4 model was proposed by incorporating the efficient and lightweight MobileNet v4 architecture into a mainstream CNN-SE network, enabling fatigue assessment based on spectrogram analysis. For the visual modality, the YOLOv8n-MN4 model was developed by replacing the backbone of YOLOv8n with MobileNet v4 and introducing a parameter-free attention mechanism into the neck network, facilitating the detection of the driver's eye region and subsequent fatigue state inference from eye images. Finally, weights were assigned to fatigue indicators from both modalities through fuzzy analytic hierarchy process, enabling comprehensive fatigue level evaluation. The results show that the improvements made to mainstream models using MobileNet v4 are all effective. Compared with the traditional equal-weight fusion method, the F₁-score is improved by 5.7 percentage points, confirming the effectiveness of incorporating the audio modality.

Graphical abstract

关键词

疲劳驾驶检测 / 多模态 / 深度学习 / 音频模态 / 视觉模态 / 模糊层次分析

Key words

fatigue driving detection / multimodal / deep learning / audio modality / vision modality / fuzzy analytic hierarchy process

引用本文

引用格式 ▾

林浩, 李雷孝. 融合音频模态和视觉模态的轻量级多模态疲劳驾驶检测[J]. 科学技术与工程, 2026, 26(22): 9586-9595 DOI:10.12404/j.issn.1671-1815.2506963

LIN Hao, LI Lei-xiao. Lightweight Multimodal Fatigue Driving Detection Based on Integrating Audio and Vision Modalities[J]. Science Technology and Engineering, 2026, 26(22): 9586-9595 DOI:10.12404/j.issn.1671-1815.2506963

登录浏览全文

4963

注册一个新账户忘记密码

疲劳驾驶是长途驾驶中危及生命安全的首要因素。驾驶员处于疲劳时,对路况的观察能力、对车辆的操作以及遇到紧急情况迅速做出反应的能力都会显著降低。据统计,有25%~30%的交通事故是由疲劳驾驶引起的^[1]。为了克服这一问题,对驾驶员进行疲劳检测是减少安全事故、提高交通安全的重要方法之一。

当前用于疲劳驾驶检测的特征主要分为视觉特征、生理特征和车辆行为特征^[2-3]。在研究早期主要是使用单一模态的特征信息。例如,Zhao等^[4]使用SSD(single-shot multi-box detector)来提取眼睛和嘴部区域的特征,使用VGG16网络用于学习疲劳特征训练检测模型。Yi等^[5]针对眼睛区域提取多特征,利用综合评价进行特征权重分配,取得了不错的效果。Sun等^[6]提出一种多数据流(multi-stream)面部特征融合卷积神经网络,融合全局人脸流和两个局部眼流进行眼部状态分类,旨在优化低质量输入情况下的疲劳检测性能。Jia等^[7]设计了3个神经网络分别用于驾驶员面部检测、头部姿态估计和眼嘴状态判断。并且在面部检测方法中设计了一个新的损失函数,使得网络不仅能准确输出面部区域,还能准确输出5个人脸关键点。多个不同任务目标的网络协作可以有效解决面部遮挡问题,但整个检测方法的性能将显著下降。Li等^[8]提出了一种更先进且更实用的基于视觉模态的驾驶员疲劳检测框架。由于驾驶员的眼睛和嘴巴大小形状各不相同,为了提高驾驶员面部表情的判断准确性,提出了基于驾驶员眼睛和嘴巴宽高比的个性化阈值代替传统的平均阈值。实验结果表明,该方法在公共NTHU-DDD数据集上实现了92.21%的F₁分数和29 FPS。这些研究为疲劳驾驶检测提供了多种技术和方法,但集中在单一模态处理上,且在实际应用中仍存在一定的局限性。

随着研究的进一步发展,基于多模态融合的方法成为主流。Du等^[9]提出多模态融合循环神经网络(multimodal fusion recurrent neural network, MFRNN),融合了心率、嘴开放度和眼睛开放度,并加入模糊推理与MFRNN相结合,解决心率特征的噪音与模糊性。在后续研究中,Du等^[10]又利用决策级融合方法融合心率特征和面部特征,提升了检测性能。Liu等^[11]融合脑电图信号、皮肤信号、脉搏信号和眼球运动信号共4种模态信息,直接输入到自编码器中进行模型训练,与单一模态相比具有更高的准确度。He等^[12]使用了定制的穿戴设备采集生理特征和车辆特征,利用融合注意力机制的Bi-LSTM取得99.21%的准确率。程文鑫等^[13]引入格拉姆角场成像方法一维脑电图信号映射成二维图像,并采用PCNN-GRU并行方式融合不同模态的时空特征,进而实现仅基于脑电图信号的多模态检测。实验结果显示,单个被试数据准确率最低也能够达到86.60%。朱靖龙等^[14]采集驾驶员的呼吸信号结合驾驶员图像进行呼吸疲劳识别,为该领域提供了新思路。张冰涛等^[15]提出一种融合前额单通道脑电信号和内嵌眨眼电位的列车司机疲劳驾驶检测方法。为发挥不同类型特征的内在潜能,设计了基于权重系数的特征融合策略,将融合特征输入由卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long short-term memory,LSTM)构成的并行神经网络架构,在广铁集团有限公司的自建数据集上将检测准确率提升了9.23个百分点。

然而,视觉特征在面部受到遮挡或在黑夜环境中时难以识别;生理特征需要佩戴侵入式的疲劳监测设备采集,可能对驾驶员造成二次影响,并且检测设备价格昂贵,影响实用性;车辆行为特征则受道路状况、交通情况、天气状况、驾驶员的驾驶习惯等诸多额外因素影响,导致误检率较高。

语音是解决上述模态问题的一个切入点。人在疲劳状态下语音和正常状态下存在显著差别。已有少量研究初步验证了利用语音特征识别驾驶疲劳状态,但还未在多模态场景中验证^[16-18]。基于此,现将音频模态引入多模态疲劳驾驶检测方法,充分发挥两种模态的优势完成疲劳的检测。面部特征是最直接反映疲劳的状态。在面部被遮挡或光线不好时,声音信息的获取不受影响;在嘈杂环境中难以获取声音信息时,基于视觉的面部信息获取不受影响。但由于引入了新模态,还需额外考虑多模态带来的效率问题。

因此,现对主流模型进行优化与轻量化。通过视听双模态的优势互补与轻量化架构设计,打破传统单模态检测在面部遮挡或复杂环境下的局限,为实现疲劳驾驶预警提供新的技术范式。将音频模态引入疲劳驾驶检测方法。针对音频模态中语谱图时序特征挖掘不充分的问题,将性能优秀且结构简单的MobileNet v4引入被广泛使用的CNN-SE特征提取模型,增加模型对时序特征和空间特征的提取能力。针对视觉模态,用MobileNetv4模块替换用于眼部区域检测的YOLOv8n的主干网络,在保证准确率的同时降低模型的计算量。并在YOLOv8n的颈部网络中引入即插即用的无参注意力机制,在不影响效率的基础上提高模型空间特征提取能力。利用模糊层次分析(fuzzy analytic hierarchy process,FAHP)进行决策级多模态融合,综合音频模态和视觉模态的疲劳指标,实现疲劳驾驶检测。在自建数据集和公开数据集上验证所提方法有效性,为减少疲劳驾驶事故、提高交通安全具有指导意义。

1 基于音频模态与视觉模态的多模态疲劳驾驶检测框架

构建了基于音频模态与视觉模态的多模态疲劳驾驶检测框架,其架构如图1所示。首先对视频中的音频信号进行预处理,后将检测驾驶员是否发出声音,若发出声音采用多模态;若一段时间未发出声音,则仅利用视觉模态。针对视觉模态,首先使用YOLOv8n-MN4算法提取眼部区域,其次使用MobileNet v4模型进行眼部疲劳状态判别。针对音频模态,先将声音进行多项预处理操作,提高声信号的质量,其次将声音信号转换为语谱图输入CNN-SE-MN4模型中进行声音信号疲劳判定。最后对判别结果进行多指标计算,使用基于模糊层次分析法的多模态决策级融合算法对不同指标赋予不同的权重,计算综合疲劳指数,综合判定疲劳等级。

1.1 音频模态处理

1.1.1 预处理

在获取声音信息的过程中会有噪声的掺杂。为了消除噪音和提高声音信号的质量,往往需要对噪声进行预处理。主要采取预加重、分帧和加窗、语音去噪、端点检测4项预处理。

(1)预加重。在人发出声音的过程中,声音受到声带周围器官的影响造成高频信息迅速衰减,导致高频信息的频谱值相对较少,需要利用数字滤波器改进声音的高频信息,数字滤波器为

(1)H(Z)=1-μZ^-1

式(1)中:H(Z)为经过高通滤波之后得到的频域信号;Z为转化到频域之后的输入信号;μ为预加重系数,通常取值为0.95。

经过该处理后,频谱相对平缓,生成的语谱图中所蕴含的高频信息更加明显。

(2)分帧和加窗。分帧是将连续的声音信号分成相同的时间片段,可以有效解决其时变特性,有利于语谱图转换。加窗是将分好的帧数据乘一段同长度的窗函数,使得信号连续。窗函数使用汉明窗,其公式为

(2)w(n)=$\left\{\begin{array}{ll}0.54-0.46cos\frac{2\pi n}{N-1},& 0\le n\le N-1\\ 0,& n\ge N-1\end{array}\right.$

式(2)中:n为离散时间索引;N为窗口长度;w(n)为第n个点的窗函数值。

对一段长度为N的信号施加汉明窗后,两端趋于0,中间趋于1,可有效降低快速傅里叶变换(fast Fourier transform,FFT)时的旁瓣能量,提升频谱分辨率。

(3)语音去噪。这项预处理的目的是去除背景噪声,增强音频中人声部分。由于疲劳驾驶发生总是在真实的道路环境中,存在相对平稳的噪声。采用维纳滤波法(Wiener filtering)^[19]对平稳的噪声进行处理,其核心思想是通过估计信号与噪声的统计特性实现最优线性滤波。

(4)端点检测。由于人在驾驶的环境中,不会持续发出声音,需要从连续的音频中分离出有效的声音部分。端点检测就是利用语音信号的短时能量(short-time energy,STE)和短时过零率(short-time zero crossing rate,STZCR)这两个特征来检测语音的起始和结束点。这种方法简单、计算量小,适用于实时语音处理系统。

1.1.2 驾驶员发声判断

为快速判定驾驶员是否发声,对人脸进行关键点标注后,使用嘴巴关键点通过欧氏距离来计算嘴巴的纵横比(mouth aspect ratio,MAR)^[11],结果如图2所示。当MAR连续3帧超过0.35,说明驾驶员存在唇动行为,判定为驾驶员发声。

1.1.3 基于CNN-SE-MN4的疲劳判别

在预处理之后将声音信号按照相同的时间片段转换为二维图像语谱图,将语谱图输入所构建的CNN-SE-MN4中进行训练。CNN-SE-MN4模型结构如图3所示。

CNN-SE结合LSTM是目前提取信号特征的主流方法^[20-21]。向CNN-SE结合LSTM中引入MobileNet V4,提出CNN-SE-MN4,进一步提高对时序特征和空间特征的提取能力。MobileNet V4是为移动设备设计的通用高效的架构设计,引入了针对移动加速器优化的移动版多头注意力,相比传统多头自注意力能提高39%的推理加速^[22]。

利用CNN-SE-MN4判别疲劳后,利用判别结果计算疲劳指标VOICE。VOICE是指疲劳语谱图占语谱图总帧数的百分比(以3 s为单位),其表达式为

(3)VOICE=$\frac{{N}_{p}}{{N}_{z}}$×100%

式(3)中:N_p为单位时间内判定为疲劳的语谱图数量;N_z为单位时间内语谱图的总帧数。

通过分析实际数据发现,疲劳的语谱图中发音之间的间隔明显大于正常的语谱图,如图4所示,这是疲劳导致的发音困难。此外,共振峰相对于正常的语谱图比较浑浊,形状不清晰,且幅度变化不明显。这是由于声带疲劳和肌肉疲劳,使声音变得低弱和不清晰。

1.2 视觉模态处理

1.2.1 眼部区域和状态提取

在视觉模态中使用眼部区域提取疲劳信息。人在疲劳时眨眼的比例会升高并且眼睛长时间处于眯眼状态。利用MobileNet v4替换YOLOv8n的主干网络,在颈部网络中引入一种无参注意力机制(simple, parameter-free attention module,SimAM)^[23],提出YOLOv8n-MN4来检测眼部区域。YOLOv8n-MN4的模型结构如图5所示。

图6是SimAM的示意图。SimAM旨在通过简单的操作来增强卷积神经网络中特征图的重要信息,同时抑制不重要的特征信息。SimAM通过作者定义的优化能量函数计算每个神经元的重要程度,从而计算出一个三维的注意力权重^[23]。与传统的基于学习权重的注意力机制不同,SimAM不需要额外的学习参数,同时它考虑到特征图的通道和空间维度,性能与其他注意力模块表现相当。对于一个给定的输入特征张量X,SimAM可直接计算出每个通道对应的权重和偏置,不需要额外的学习过程。这些权重和偏置用于对每个通道的特征进行线性变换,最终融合为优化后的特征张量。

与音频模态处理类似,将YOLOv8n-MN4提取的眼部区域输入MobileNet v4中进行眼睛状态判定。由于采集的数据集是30帧的视频数据,需将采集的视频数据集按帧提取图片。

1.2.2 PERCLOS疲劳指标计算

利用眼部图像进行疲劳判定,通常采取闭眼时长和眨眼的频率进行计算,即PERCLOS(percentage of eyelid closure over the pupil over time)。PERCLOS是利用一定时间内驾驶人的眼睛闭合程度超过一定阈值的时间百分比来判定驾驶人是否疲劳。采用P80^[24]判断疲劳,即眼睑闭合到覆盖瞳孔的80%时的状态视为疲劳,如图7所示。

根据P80定义,PERCLOS的计算公式为

(4)PERCLOS=$\frac{{F}_{EC}}{{F}_{S}}$×100%

式(4)中:F_EC为t₃~t₄时间段内眼睛闭合帧数;F_S为t₂~t₅时间段的总帧数。

1.2.3 眨眼频率疲劳指标计算

驾驶人的眨眼频率会在非疲劳与疲劳驾车时发生显著的变化,在非疲劳状态时驾车平均每分钟6次,在疲劳时每分钟眨眼次数能达到16~30次。因此,将眨眼次数作为针对眼部区域的疲劳判定,其计算公式为

(5)P_b=$\frac{{N}_{tb}}{{N}_{t}}$

式(5)中:N_tb为单位时间内眨眼的次数;N_t为单位时间;P_b为单位时间内眨眼频率。

1.3 基于模糊层次分析的多模态融合

以多模态数据为基础,计算了多个疲劳指标,而不同的指标对疲劳判定的影响不同,故采用模糊层次分析法(fuzzy analytic hierarchy process,FAHP)^[25-26]对不同的指标进行最优权重分配。FAHP把传统层次分析法的1~9精确标度换成三角模糊数,先构造模糊判断矩阵,再经一致性检验、去模糊化求权重。FAHP能同时处理专家判断的模糊性与主观差异,使多指标权重分配更稳健可靠。在进行权重分配后,再将不同权重加权综合计算疲劳指数。

根据经验^[27-28],PERCLOS的权重应略低于P_b,而视觉模态和音频模态的权重应该相当。故设定3个指标的重要程度排序为PERCLOS=VOICE>P_b。以此构建的模糊判断矩阵D如表1所示。

同理得模糊判断矩阵D的权重向量为0.367,0.367和0.267。计算相容性指标为0.054<α=0.1,结论一致性通过,说明该模糊判断矩阵是合理的。

2 数据和实验

2.1 实验设置

当前,没有包含音频模态的疲劳驾驶检测公开数据集。所以采用RGB摄像机和麦克风采集驾驶员面部RGB图像和驾驶过程中的声音。

共征集了18名有驾驶资格的在校大学生志愿者,其中随机选取10人为睡眠剥夺组,其余8人为正常睡眠组。睡眠剥夺组需在数据采集前一晚玩网络游戏,采用剥夺睡眠的方式来制造疲劳。第2天08:00—08:30在学校周边道路驾驶机动车收集半小时的驾驶数据集,并要求志愿者发出声音与新能源汽车进行语音交互,如播放音乐、打开空调、导航到公司,关闭空调等。正常睡眠组按照学校的正常作息时间休息,第2天08:00—08:30在学校周边道路驾驶机动车收集30 min的驾驶数据集。两组各采集10 min的声音数据集。

最终共采集5 h的疲劳状态视频数据集和4 h的非疲劳状态视频数据集,以及100 min的疲劳声音数据集和80 min的非疲劳数据集。预处理后数据集如表2和表3所示。

采用NTHU-DDD数据集进行额外实验。NTHU-DDD数据集为驾驶环境下收集的数据集,包括了说话、唱歌、打哈欠、缓慢眨眼、点头等各种驾驶过程中会出现的场景。

模型采用python 3.10和深度学习框架TensorFlow 2.14.0训练,环境为Windows10操作系统,CPU为英特尔酷睿i7-12700,显卡为GeForce GTX3060 8 G。模型训练epoch为100,Loss为二元交叉熵损失函数。

采用了多项关键指标来全面评估模型的性能,包括:精确率(P_recision)、漏检率(R_miss)、召回率(R_ecall)、F₁分数(F₁)、平均精度均值(mean average precision,mAP)和FPS(frames per second)。

(1)精确率是指正确预测为正类的占全部预测为正类的百分比,其计算公式为

(6)P_recision=$\frac{TP}{TP+FP}$×100%

式(6)中:TP、FP、TN和FN分别为正类被预测正确的个数、负类被预测为正类的个数、负类被预测正确的个数以及正类被预测为负类的个数。

(2)漏检率表示正类判断错误的百分比,反映模型未能检测到的目标比例,其计算公式为

(7)R_miss=$\frac{FN}{TP+FN}$×100%

(3)召回率表示正确预测为正类的占全部实际为正类的百分比,评估模型识别目标的能力,其计算公式如下所示

(8)R_ecall=$\frac{TP}{TP+FN}$×100%

(4)F₁分数通过P_recision与R_ecall的调和平均值计算,提供了模型整体性能的综合评价,其计算公式为

(9)F₁=$\frac{2{P}_{recision}{R}_{ecall}}{{P}_{recision}+{R}_{ecall}}$×100%

(5)mAP目标检测在所有类别上的平均精确率,其计算公式为

(10)

$mAP=\frac{\sum _{i=1}^{k}A{P}_{i}}{k}\times 100\%$

式(10)中:AP_i为经过插值的precision-recall曲线与X轴包络的面积(也称AUC)。

(6)FPS指模型每秒处理图片的数量,用于衡量模型处理速度的效率。

2.2 音频模态实验

2.2.1 CNN-SE-MN4对比实验

为了验证CNN-SE-MN4模型在声音信号的分类任务中的有效性,将CNN-SE-MN4与Baseline模型进行对比,包含经典的Resnet 34、GoogLeNet、VGG16模型,还有MobileNet v3和MobileNet v4模型。实验结果如表4所示。

由表4所示,CNN-SE-MN4在P_recision、R_ecall、F₁和mAP上优于其他Baseline。相比次优Baseline,4个指标分别提高1.59%、0.94%、1.26%、1.05%。表明CNN-SE-MN4能够适用于语谱图的分析。mAP和损失函数随训练轮次的变化趋势分别如图8和图9所示。

2.2.2 CNN-SE-MN4消融实验

CNN-SE-MN4中组合了CNN模块,SE模块和LSTM模块。为验证增加模块的合理性和对模型的提升效果,因此在MobileNet v4的基础上,依次增加模块进行消融实验。实验结果如表5所示。

由表5可知,MobileNet v4增加SE模块和LSTM模块时性能涨幅更明显,相较于MobileNet v4精确率增加1.2%,召回率增加0.3%,准确率增加0.5%。实验结果证明CNN-SE-MN4中所有模块都是必要的。

2.3 视觉模态实验

2.3.1 YOLOv8n-MN4对比实验

为了验证YOLOv8n-MN4模型提取驾驶人眼部区域的有效性和先进性,将YOLOv8n-MN4与Baseline模型进行对比,包含YOLOv8s、YOLOv8n、YOLOv5n、Dlib、MTCNN、级联回归树、CLNF以及ShuffleNet v2。实验结果如表6所示。

由表6可知,在Baseline中,YOLOv8n性能与MTCNN相当。但综合考虑FPS,YOLOv8n应为次优Baseline。这支持了改进YOLOv8n的动机。所提出的YOLOv8n-MN4相比YOLOv8n 4个指标分别提高1.84%、1.23%、1.54%和1.44%;FPS增至206,较YOLOv8n提升17%,显著优于Dlib等“快而不准”的方案。由此可见,YOLOv8n-MN4在保证最高检测精度的同时保证了效率,充分满足疲劳检测系统的现场部署需求。

2.3.2 YOLOv8n-MN4消融实验

YOLOv8n-MN4的改进由两部分:①YOLOv8n的主干网络更换为轻量级网络MobileNet v4;②YOLOv8n 的颈部网络中增加SimAM注意力机制。此外,还对比了通道注意力机制(squeeze-and-excitation,SE)^[29]、全局注意力机制(global attention mechanism,GAM)^[30]、GCT注意力机制(gaussian context transformer)^[31]。实验结果如表7所示。

由表7可知,轻量级主干网络的引入显著提升了模型的推理速度,同时保持了较高的检测精度。SimAM是最适合该任务的注意力机制。综上所述,YOLOv8n-MN4的所有改进都是必要的。

2.4 疲劳驾驶检测实验

2.4.1 多模态实验

采用FAHP进行权重分配,对应权重为[0.367,0.367,0.267]。作为对比方法的平均分配对应权重为[1 /3,1 /3,1 /3]。实验结果如图10所示。

由图10所示,采用FAHP进行权重分配显著优于平均分配权重。音频模态的指标权重高于眨眼的指标权重,从侧面证实了音频模态在疲劳驾驶检测中的重要性。所提出疲劳驾驶检测方法在多模态融合后总参数量为7.41 M,基本满足轻量化的要求。

特别说明,由于所采用的模态与其他方法不同,故无法对比疲劳驾驶检测性能。

2.4.2 单视觉模态实验

由于所建数据集规模较小且采集自非真实驾驶环境,存在一定的局限性。故利用YAWDD数据集验证视觉模态的有效性。表8展示了实验结果。

实验结果显示,在仅使用视觉模态的情况下,本文方法性能与现有方法性能相当,略低于在多模态情况下展现的性能。故推荐在多模态条件下使用本文方法。

3 结论

为提高疲劳驾驶检测的准确性与场景鲁棒性,将音频模态系统引入疲劳驾驶检测任务;基于CNN-SE-MN4处理音频模态并基于YOLOv8n-MN4处理视觉模态;提出基于FAHP的多模态决策级融合机制;并进行了多项实验证明本文方法其性能优于传统方法,不仅克服了单一模态在疲劳驾驶检测中的不足,还通过优化模型结构和融合策略,提高了检测的准确性和效率,有望为减少疲劳驾驶事故、提高交通安全做出重要贡献。

未来需要进一步完善关于声音与视频模态的疲劳驾驶数据集,使其包含不同驾驶环境、不同时间段以及不同驾驶人群的数据;要解决人声是否来自驾驶员这一关键工程问题,将进一步对比特征级、决策级等多种融合策略及注意力变体,以全面验证并强化本文方案的优势;最后面向新能源汽车,结合方向盘生理传感检测,减少对面部的依赖,在保护隐私的同时实现更精准的疲劳状态识别,为智能驾驶提供可靠的安全保障。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	宋志强, 李明阳, 周鹏. 基于MTCNN和PFLD的疲劳驾驶检测方法[J]. 电子测量技术, 2025, 48(22): 214-223.

[2]	Song Zhiqiang, Li Mingyang, Zhou Peng. Fatigue driving detection method based on MTCNN and PFLD[J]. Electronic Measurement Technology, 2025, 48(22): 214-223.

[3]	杨艳艳, 李雷孝, 林浩. 提取驾驶员面部特征的疲劳驾驶检测研究综述[J]. 计算机科学与探索, 2023, 17(6): 1249-1267.

[4]	Yang Yanyan, Li Leixiao, Lin Hao. Review of research on fatigue driving detection based on driver facial features[J]. Journal of Frontiers of Computer Science and Technology, 2023, 17(6): 1249-1267.

[5]	杨巨成, 魏峰, 林亮, 等. 驾驶员疲劳驾驶检测研究综述[J]. 山东大学学报(工学版), 2024, 54(2): 1-12.

[6]	Yang Jucheng, Wei Feng, Lin Liang, et al. A research survey of driver drowsiness driving detection[J]. Journal of Shandong University(Engineering Science Edition), 2024, 54(2): 1-12.

[7]	Zhao G, He Y, Yang H, et al. Research on fatigue detection based on visual features[J]. IET Image Processing, 2022, 16(4): 1044-1053.

[8]	Yi Y, Zhou Z, Zhang W, et al. Fatigue detection algorithm based on eye multi-feature fusion[J]. IEEE Sensors Journal, 2023, 23(7): 7949-7955.

[9]	Sun Z, Miao Y, Jeon J Y, et al. Facial feature fusion convolutional neural network for driver fatigue detection[J]. Engineering Applications of Artificial Intelligence, 2023, 126: 106981.

[10]	Jia H, Xiao Z, Ji P. Real-time fatigue driving detection system based on multi-module fusion[J]. Computers & Graphics, 2022, 108: 22-33.

[11]	Li X, Lin H, Du J, et al. Computer vision-based driver fatigue detection framework with personalization thresholdand multi-feature fusion[J]. Signal, Image and Video Processing, 2024, 18(1): 505-514.

[12]	Du G, Li T, Li C, et al. Vision-based fatigue driving recognition method integrating heart rate and facial features[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(5): 3089-3100.

[13]	Du G, Zhang L, Su K, et al. A multimodal fusion fatigue driving detection method based on heart rate and PERCLOS[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(11): 21810-21820.

[14]	Liu K, Feng G, Jiang X, et al. A feature fusion method for driving fatigue of shield machine drivers based on multiple physiological signals and auto-encoder[J]. Sustainability, 2023, 15(12): 9405.

[15]	He C, Xu P, Pei X, et al. Fatigue atthe wheel: a non-visual approach to truck driver fatigue detection by multi-feature fusion[J]. Accident Analysis & Prevention, 2024, 199: 107511.

[16]	程文鑫, 闫光辉, 常文文, 等. 基于通道加权的多模态特征融合用于EEG疲劳驾驶检测[J]. 浙江大学学报(工学版), 2025, 59(9): 1775-1783.

[17]	Cheng Wenxin, Yan Guanghui, Chang Wenwen, et al. Channel-weighted multimodal feature fusion for EEG-based fatigue driving detection[J]. Journal of Zhejiang University(Engineering Science Edition), 2025, 59(9): 1775-1783.

[18]	朱靖龙, 刘强, 李波, 等. 基于呼吸疲劳节点的驾驶员疲劳状态判别[J]. 科学技术与工程, 2024, 24(16): 6927-6934.

[19]	Zhu Jinglong, Liu Qiang, Li Bo, et al. Driver fatigue state discrimination based on respiratory fatigue node[J]. Science Technology and Engineering, 2024, 24(16): 6927-6934.

[20]	张冰涛, 严大川, 王小敏, 等. 基于脑电与眨眼电位特征融合的疲劳驾驶检测方法[J]. 铁道科学与工程学报, 2025, 22(8): 3738-3747.

[21]	Zhang Bingtao, Yan Dachuan, Wang Xiaomin, et al. Fatigue driving detection based on fusion of EEG and blink potential features[J]. Journal of Railway Science and Engineering, 2025, 22(8): 3738-3747.

[22]	李泰国, 周星宏, 李全琴, 等. 基于UMAP语音多特征融合的列车司机疲劳检测[J]. 铁道科学与工程学报, 2024, 21(10): 4014-4026.

[23]	Li Taiguo, Zhou Xinghong, Li Quanqin, et al. Train driver fatigue detection based on UMAP and speech multi-feature fusion[J]. Journal of Railway Science and Engineering, 2024, 21(10): 4014-4026.

[24]	杨昌其, 张雨萱. 基于语音特征的管制员疲劳识别[J]. 科学技术与工程, 2025, 25(29): 12732-12738.

[25]	Yang Changqi, Zhang Yuxuan. Controller fatigue recognition based on speech features[J]. Science Technology and Engineering, 2025, 25(29): 12732-12738.

[26]	Riad R, Denais M, de Gennes M, et al. Automated speech analysis for risk detection of depression, anxiety, insomnia, and fatigue: algorithm development and validation study[J]. Journal of Medical Internet Research, 2024, 26: e58572.

[27]	Alikaşifoğlu T, Kartal B, Koç A. Wiener filteringin joint time-vertex fractional fourier domains[J]. IEEE Signal Processing Letters, 2024, 31: 1319-1323.

[28]	Dong Z, Wang D, Yin J, et al. The CNN-SE-LSTM model for phase interferometer ambiguity resolution[J]. IEEE Signal Processing Letters, 2025, 32: 2639-2643.

[29]	Ma W, Song G, Zeng Q, et al. FFCSLT: a deep learning modelfor traffic police hand gesture recognition using surface electromyographic signals[J]. IEEE Sensors Journal, 2024, 24(8): 13640-13655.

[30]	Qin D, Leichner C, Delakis M, et al. MobileNetv4: universal models for the mobile ecosystem[C]// European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 78-96.

[31]	Yang L, Zhang R Y, Li L, et al. Simam:a simple, parameter-free attention module for convolutional neural networks[C]// International Conference on Machine Learning. Online: PMLR, 2021: 11863-11874.

[32]	潘志庚, 刘荣飞, 张明敏. 基于模糊综合评价的疲劳驾驶检测算法研究[J]. 软件学报, 2019, 30(10): 2954-2963.

[33]	Pan Zhigeng, Liu Rongfei, Zhang Mingmin. Research on fatigue driving detection algorithm based on fuzzy comprehensive evaluation[J]. Journal of Software, 2019, 30(10): 2954-2963.

[34]	Moslem S. A novel parsimonious spherical fuzzy analytic hierarchy processfor sustainable urban transport solutions[J]. Engineering Applications of Artificial Intelligence, 2024, 128: 107447.

[35]	Cebi S, Gündoğdu F K, Kahraman C. Consideration of reciprocal judgments through decomposed fuzzy analytical hierarchy process: a case studyin the pharmaceutical industry[J]. Applied Soft Computing, 2023, 134: 110000.

[36]	王树国, 李雷孝, 周欣颖. 基于驾驶员多种侧面状态的疲劳驾驶检测方法[J]. 内蒙古工业大学学报(自然科学版), 2025, 44(6): 542-551.

[37]	Wang Shuguo, Li Leixiao, Zhao Xinying. A fatigue driving detection method based on multiple lateral states of drivers[J]. Journal of Inner Mongolia University of Technology(Natural Science Edition), 2025, 44(6): 542-551.

[38]	王红君, 白浩, 赵辉, 等. 基于计算机视觉的驾驶员疲劳状态检测预警技术[J]. 科学技术与工程, 2022, 22(12): 4887-4894.

[39]	Wang Hongjun, Bai Hao, Zhao Hui, et al. Driver fatigue state detection and early warning technology based on computer vision[J]. Science Technology and Engineering, 2022, 22(12): 4887-4894.

[40]	Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 7132-7141.

[41]	Liu Y, Shao Z, Hoffmann N. Global attention mechanism: retain information to enhance channel-spatial interactions[J]. arXiv Preprint arXiv: 2112.05561, 2021.

[42]	Ruan D, Wang D, Zheng Y, et al. Gaussian context transformer[C]// Proceedings of the IEEE/CVF CVPR. Online: IEEE, 2021: 15129-15138.

[43]	Weng C H, Lai Y H, Lai S H. Driver drowsiness detection via a hierarchical temporal deep belief network[C]// Asian Conference on Computer Vision. Cham: Springer International Publishing, 2016: 117-133.

[44]	Chen P, Jian Q, Wu P, et al. A multi-domain fusion human motion recognition method based on lightweight network[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5.

[45]	Huang R, Wang Y, Li Z, et al. RF-DCM: multi-granularity deep convolutional model based on feature recalibration and fusion for driver fatigue detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 23(1): 630-640.

基金资助

国家自然科学基金(62062054)

国家重点研发项目(2023YFB2703900)

内蒙古自治区重点研发和成果转化计划(2025KJHZ0039)

内蒙古自治区重点研发和成果转化计划(2024SKYPT0012)

内蒙古自治区高等学校创新团队发展计划(NMGIRT2506)

内蒙古自治区高等学校青年科技人才发展项目(NJYT24035)

内蒙古自治区直属高校科研项目(JY20250065)

内蒙古自治区直属高校科研项目(JY20230019)

PDF (9904KB)

访问

被引

详细

导航

Received	Published	Revised
2025-09-29	2026-08-08	2025-12-16
Online Date
2026-09-03

摘要