基于机器学习的飞行学员大侧风着陆工作负荷预测

贺强; 彭寒露; 顾雨桐

doi:10.12404/j.issn.1671-1815.2503516

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (11) :4864-4876 DOI: 10.12404/j.issn.1671-1815.2503516

航空、航天

基于机器学习的飞行学员大侧风着陆工作负荷预测

作者信息 +

Crosswind Landing Workload Prediction for Flight Trainees Based on Machine Learning

Author information +

文章历史 +

摘要

大侧风着陆是中教阶段飞行学员的重要飞行训练科目之一,准确评估训练中学员的工作负荷对降低人为操作风险、提升训练质量与效果具有重要意义。针对这一需求,提出一种基于面部动作单元(action units,AUs)、注视类数据与头部姿态类数据融合的非侵入式飞行学员工作负荷预测方法。首先,构建大侧风着陆飞行训练场景,明确该场景下“人-机-环境”系统中影响工作负荷的因素,进而建立主客观数据融合的大侧风着陆飞行工作负荷综合评测体系;在此基础上,设计大侧风着陆模拟机飞行实验,采集飞行学员的AU、注视类及头部姿态等客观数据,以及基于美国国家航空航天局任务负荷指数 (NASA task load index, NASA-TLX)量表的主观工作负荷评价数据。其次,利用指标相关性权重法 (criteria importance through intercriteria correlation, CRITIC)模型确定NASA-TLX量表六个维度的特征权重,并根据工作负荷水平将飞行学员划分为“低、中、高”3个类别;运用对称点模式实现客观数据到极坐标空间的非线性映射融合,再基于模糊C均值聚类分析融合数据与主观工作负荷的相关关系,进而生成度量工作负荷及其维度的融合特征模式。最后,基于该融合特征模式,采用支持向量机、随机森林、逻辑回归、梯度提升树4类机器学习方法,构建飞行学员大侧风着陆工作负荷预测模型。实验结果表明,基于“支持向量机 (support vector machine, SVM)+融合特征模式”的工作负荷预测模型精度最高,能有效度量大侧风着陆飞行训练中学员的工作负荷。

Abstract

Crosswind landing is one of the important training subjects for flight trainees in the intermediate stage of flight training. Accurately assessing the workload of trainees during this training is essential for mitigating human operational risks and enhancing the overall quality and effectiveness of the training process.To address this requirement, a non-invasive method for predicting the workload of flight trainees was proposed, which integrated facial action units (AUs), gaze data, and head posture data. First, a flight training scenario for crosswind landings was constructed. Based on this scenario, the factors that influence workload within the “human-machine-environment” system were identified.Subsequently, a comprehensive evaluation system for the workload during crosswind landings was established, integrating both subjective and objective data. Building on this foundation, a flight experiment using a crosswind landing simulator was designed to collect objective data on trainees' AUs, gaze, and head posture, along with subjective workload assessments based on the NASA-TLX scale.The CRITIC model was then employed to determine the feature weights of the six dimensions in the NASA-TLX scale. According to the levels of workload, flight trainees were categorized into three groups: low, medium, and high. The symmetric dot pattern (SDP) was utilized to perform a nonlinear mapping of the objective data into the polar coordinate space, enabling effective data fusion.Furthermore, fuzzy C-means clustering analysis was applied to explore the correlation between the fused data and subjective workload, leading to the generation of a fused feature pattern that measures workload and its dimensions.Finally, based on this feature pattern, four machine learning algorithms, including support vector machine (SVM), random forest, logistic regression, and extreme gradient boosting, were employed to construct a workload prediction model for flight trainees during crosswind landing. The experimental results demonstrate that the workload prediction model based on the “SVM + fusion feature pattern” achieves the highest accuracy, effectively measuring the workload of trainees in crosswind landing flight training.

Graphical abstract

关键词

大侧风着陆 / 工作负荷 / 对称点模式 / 飞行训练

Key words

crosswind landing / workload / symmetrized dot pattern / flight training

引用本文

引用格式 ▾

贺强, 彭寒露, 顾雨桐. 基于机器学习的飞行学员大侧风着陆工作负荷预测[J]. 科学技术与工程, 2026, 26(11): 4864-4876 DOI:10.12404/j.issn.1671-1815.2503516

HE Qiang, PENG Han-lu, GU Yu-tong. Crosswind Landing Workload Prediction for Flight Trainees Based on Machine Learning[J]. Science Technology and Engineering, 2026, 26(11): 4864-4876 DOI:10.12404/j.issn.1671-1815.2503516

登录浏览全文

4963

注册一个新账户忘记密码

在航空安全领域,工作负荷是与人操作相关的安全关键行为因素,也是航空人为因素的重要研究主题^[1]。在工作负荷概念与内涵方面,Mcfarlan^[2]在航空人因工程领域首次系统阐述“人为因素”(human factors)概念,提出飞行员的操作能力、判断力及心理承受力是影响飞行安全的核心因素,为工作负荷理论与评价方法研究奠定了理论基础。随着飞行实践与人为因素研究发展的深入,工作负荷被进一步细化为脑力负荷、生理负荷、情感负荷等维度。美国联邦航空管理局(Federal Aviation Administration, FAA)、欧洲航空安全局(European Union Aviation Safety Agency, EASA )、中国民用航空局(Civil Aviation Administration of China, CAAC)等的运输类飞机适航标准25.1523“最小飞行机组”是人为因素的集中体现,明确将工作负荷作为机组工作量评测的关键因素^[3]。波音公司的虚拟现实(virtual reality,VR)飞行训练研究报告显示,采用眼动追踪量化工作负荷的训练组学员在20节侧风着陆中的姿态保持误差较传统训练减少41%,训练周期缩短30%^[4]。Parasuraman等^[5]指出训练强度与个体能力的动态平衡可降低高工作负荷风险,有效规避认知超载。董大勇^[6]将工作负荷界定为任务需求与操作者认知资源交互的中介变量。Wickens^[7]基于多资源理论,分析航空从业人员工作负荷的多维度特征,强调工作负荷评估应考虑与任务需求的匹配性。在工作负荷的评测方面,已经形成了主观评价、客观生理参数评价和任务绩效评价3类方法^[8-9]。主观工作负荷评测方面,已经建立了以库柏-哈柏量表 (Cooper-Harper scale, CH)量表、NASA-TLX量表为代表的飞行工作负荷测量方法^[10-13]。Jiang等^[14]利用NASA-TLX量表评估分析了不同任务下飞行员的工作量。辛甜等^[15]结合NASA-TLX研究了着陆阶段飞行员的工作负荷。尽管飞行员对工作负荷的主观感受是评估工作负荷的重要组成部分,即个体感受到的“工作负荷”量,但该方法固有的主观偏见需要利用飞行员的生理数据来实现更准确且客观的工作负荷评价。在工作负荷的客观评价中,从单一生理指标评价逐渐发展为多模态生理信号融合评价。Wang 等^[16]利用高密度脑电图、心电图和眼球运动数据研究了飞行员在模拟器飞行过程中的认知行为。卫宗敏等^[17]综述了基于生理指标的飞行员工作负荷评价方法。Mohanavelu等^[18]发现飞行员的心率变异率与工作负荷显著相关,在此基础上,利用结合卷积神经网络和长短期记忆网络的深度学习模型,构建了基于生理信号的工作负荷预测模型,实现了工作负荷等级预测。Chen等^[19]通过生理因素的敏感性分析来实时评估不同飞行任务中飞行员的工作负荷,并基于支持向量机(support vector machine,SVM)层次组合分类方法构建飞行任务工作负荷实时评估模型。王崴等^[20]基于脑电和眼动数据融合实现人机交互过程中的工作负荷评价和意图识别。Debie等^[21]综述了利用脑电、心电、眼动追踪等多源数据融合评价工作负荷的研究,多源数据融合能够有效提升工作负荷评价的准确性和鲁棒性。在任务绩效评价方面,柳忠起等^[22]提出了一种基于反向传播神经网络(back propagation neural network,BPNN)神经网络的飞行绩效评价模型,将飞行员的飞行数据导入到反向传播(BP)神经网络中,利用网络学习和训练功能,自动评估飞行员的飞行绩效。马菲等^[23]从“人-机-环境”系统角度构建基于BP神经网络的试验飞行训练安全性分级量化分析模型,利用该模型评估试飞员在训练过程中的工作负荷。

综上所述,结合主观评价和多模态生理数据的飞行工作负荷预测成为飞行人为因素研究的主流^[24-25],但多模态生理数据依赖可穿戴设备或贴片组件,造成了任务入侵,可能影响飞行学员的本体感受。特别是,现有研究多集中于飞行任务的总体工作负荷评价,缺乏对构成工作负荷的维度的预测评价,以致不能追溯影响飞行学员工作负荷管理的“人-机-环境”系统因素,从而不能生成更优的工作负荷管理和有效的着陆训练策略。为此,现以中教阶段的大侧风着陆训练为研究对象,利用大侧风着陆训练中飞行学员的面部视频,构建基于面部活动单元(action unit, AU)、注视类与头部姿态类数据融合的着陆飞行工作负荷评价方法。通过分析大侧风着陆飞行训练场景,明确着陆飞行工作负荷综合评测体系,进而设计实施模拟机大侧风着陆实验,采集相关数据,基于数据分析提取度量工作负荷及其6个评价维度的客观特征模式;最后,基于该特征模式,结合机器学习算法构建工作负荷预测模型。

基于上述研究思路,在不引入可穿戴/贴片设备、尽量降低任务入侵的前提下,实现对大侧风着陆训练中飞行学员工作负荷的非侵入式、可解释、可追溯评测与预测。构建面向工作负荷6个评价维度的融合特征表征与预测模型,验证其与主观评价的一致性与有效性;建立“维度-行为线索-场景因素”的关联分析框架,使工作负荷评估能够回溯到“人-机-环境”系统中的关键影响因素,从而为训练强度动态调节、学员工作负荷预警与更有效的大侧风着陆训练策略制定提供客观依据。

1 大侧风着陆训练场景

大侧风着陆飞行训练过程是典型的“人-机-环境”系统交互过程。如图1所示,着陆过程中,飞行学员需监测空速表、姿态仪、高度表等来提取关键信息。同时,飞行学员需要根据侧风分量飞行学员需要调整襟翼角度与重心配平,并严格执行起落架和襟翼操作程序。拉平至接地阶段,学员需微调推力和姿态以维持标准进近速度与航迹,完成侧风修正,确保飞机在跑道中心线上接地,并通过适当调整偏流角以维持飞机稳定姿态。滑跑阶段,飞行学员持续监控飞机速度和方向,合理使用刹车和方向舵,将飞机减速至滑行速度,并保持在跑道中心线以实现安全着陆。

在此过程中,飞行学员需要高度整合视觉-空间与前庭信号等多源信息,以进行实时决策并精确操作。随着脑力负荷增加,认知资源分配机制会显著下降,导致视觉注意力分配效率降低^[26-27],进而影响决策准确性。因此,可以通过监测学员左右眼注视方向、头部位置偏移以及反映情绪、意图等心理状态的AUs等客观指标来量化脑力负荷水平,从而反映飞行学员在信息处理、注意力分配及空间感知方面的能力。在进近到拉平前准备阶段,飞行学员需稳定飞机并建立着陆形态,并通过副翼和方向舵协同修正维持航向。此时分析头部位置偏移及其旋转角度等指标,可有效表征飞行学员在执行飞行作时的身体稳定性、空间感知能力及体力消耗。同时,时间需求和业绩水平反映了大侧风着陆飞行任务的复杂性和飞行学员对任务的适应程度,是飞行学员在处理任务时的效率和精确度的直接体现,可由注视类数据、头部姿态和AUs综合表征。在任务执行过程中,受挫时飞行学员的情绪和决策能力也会受到影响,表现为信息处理和决策不佳,错误增多,从而影响任务执行质量。努力程度反映了飞行学员完成任务所付出生理和心理努力的总和,可能表现为面部表情的变化,如皱眉等。

2 基于场景的大侧风着陆实验设计与实施

2.1 实验人员

选取了处于中教阶段的14名飞行学员参与大侧风模拟机着陆飞行实验,参与实验的学员的平均飞行时长为223 h(标准差SD=11.18),年龄范围在21~24岁(均值M=22.85岁,标准差SD=0.79岁)。所有学员身体状况良好,为右利手。

2.2 实验设备

着陆飞行实验在DA42-FTD5飞行模拟训练设备上完成。该设备满足CCAR-60部5级要求,配备仿真Garmin G1000的座舱及完整教员操作台,视景系统采用180°三通道投影柱幕,具有与DA42真机驾驶舱一致的操控体验与显示。在飞行学员座位的正前方安装高精度摄像头,确保能够清晰捕捉飞行学员的面部视频,如图2所示。

2.3 实验流程

实验采用全任务模拟飞行范式,包含起飞离场、航路巡航、进场下降及大侧风进近着陆四个阶段。

第一步,学员依照约定时间抵达实验现场,正式飞行前接受飞行程序和任务需求的讲解,以消除环境适应与生理信号基线漂移的影响。

第二步,学员准备好后进入DA42-FTD5,完成从起飞离场至航路巡航的常规操作,统一飞抵预设巡航高度,建立稳定飞行状态。

第三步,机组开始执行进近程序,教员在此过程中随机设置施加满足DA42飞机进近标准的大侧风,学员按照大侧风着陆程序完成进近、拉平、接地及滑跑全流程操作,教员全程监控操作的合规性。

第四步,着陆飞行完成后, 学员进入讲评室填写NASA-TLX主观量表。

依次执行上述步骤,直至14名飞行学员全部完成实验。

2.4 实验数据处理方法

2.4.1 NASA-TLX量表数据的处理

根据飞行学员在不同维度上的主观需求和感受的平均水平,综合考虑数据的波动性和指标相关性,采用CRITIC客观赋权法^[28]来分配NASA-TLX 6个维度的权重,CRITIC通过指标间的变异性和冲突性来呈现有效数据信息,对权重做出客观衡量来确定各维度的重要性,从而避免单一因素赋权的局限,可更客观反映工作负荷各维度的重要性,具体方法如下。

(1)设有m个待评对象,n个评价指标,可构成数据矩阵X=(X'_ij)_m×n,设数据矩阵内元素经过标准化处理后的元素为X'_ij,X'_ij将正向指标进行归一化处理,负向指标通过极差变换进行正向处理,方法为

(1)X'_ij=$\frac{X\text{'}{}_{ij}-\mathrm{m}\mathrm{i}\mathrm{n}\left({X}_{j}\right)}{\mathrm{m}\mathrm{a}\mathrm{x}\left({X}_{j}\right)-\mathrm{m}\mathrm{i}\mathrm{n}\left({X}_{j}\right)}$, 正向指标

(2)X'_ij=$\frac{\mathrm{m}\mathrm{a}\mathrm{x}\left({X}_{j}\right)-X\text{'}{}_{ij}}{\mathrm{m}\mathrm{a}\mathrm{x}\left({X}_{j}\right)-\mathrm{m}\mathrm{i}\mathrm{n}\left({X}_{j}\right)}$, 负向指标

(2)设W_j为第j个指标的权重;C_j(j=1,2,…,n)为第j个指标的信息承载量,当信息承载量越重要,权重越大。表达式为

(3)W_j=$\frac{{C}_{j}}{\stackrel{n}{\sum _{j=1}}{C}_{j}}$

(3)NASA-TLX量表的6个维度中,业绩水平作为负向指标。最后计算权重和综合得分,公式为

(4)S_i=$\stackrel{n}{\sum _{j=1}}$W_jX'_ij

利用K-均值聚类法^[29]将参与实验的飞行学员的NASA-TLX量表数据进行分类,z为6个维度相加得到的综合总分,s为根据权重计算出来的加权总分。利用DB(Davies-Bouldin score)指数来衡量聚类的分离度和紧凑度。

2.4.2 基于面部视频的客观数据处理

AUs描述面部肌肉活动,代表面部肌肉或肌肉群的特定运动,揭示面部表情是如何反映情绪、意图等心理状态,能评估认知负荷和决策能力^[30]。利用OpenFace 软件提取实验生成的14个飞行学员的面部视频中的AUs、注视类数据和头部姿态类数据。OpenFace^[31]是一个开源的面部行为分析工具包,集成了多种计算机视觉算法,能够实时进行面部关键点检测、头部姿态估计、AU识别。该软件对视频图像的采样频率为25帧/秒(f/s),导入视频流后,每帧图像中出现的注视信息、AU信息、头部位置及姿态信息都将被提取,识别并输出。AU信息定义为AU出现概率及其强度,若AU出现,概率为1,反之为0,强度范围为1~5。

采用对称点模式(symmetrized dot pattern, SDP)分别实现AUs、注视类、头部姿态类数据的多通道序列数据融合^[32]。SDP作为一种非参数的时间序列特征映射与融合方法,通过将时序信号映射到极坐标空间,并利用镜像对称构型保留信号的相对变化率、波动幅度和相位信息,能够在低维空间中以二维雪花图的形式高效表达多模态信号的动态关联结构。与传统的特征拼接或其他线性融合方式相比,这一特性使SDP在大侧风着陆工作负荷评估中能够保留动态的信息结构,适合捕捉AUs、注视类、头部姿态类调整等动态行为。通过构建融合后多维特征输入集,将Openface提取的面部识别视频中的17个AU进行融合,数据切片序列生成的二维镜像雪花图展示了AUs随时间的变化,数据点的分布显示了AUs的强度。Openface提取的左眼注视方向矢量(gaze_0_x, gaze_0_y, gaze_0_z),右眼注视方向矢量(gaze_1_x, gaze_1_y, gaze_1_z)以及以弧度表示的两只眼睛平均凝视方向(gaze_angle_x,gaze_angle_y) 反映了飞行学员的注意力集中度^[33]。Openface提取的pose_Tx、pose_Ty、pose_Tz表示飞行过程中实验人员头部相对摄像头的位置偏移,反映头部在三维空间中的位移,而 pose_Rx, pose_Ry, pose_Rz 则描述了飞行学员头部绕X、Y、Z轴的旋转角度(以弧度为单位),反映了头部姿态变化。注视类与头部姿态数据与AUs的SDP融合一致。

2.4.3 基于FCM的相关性分析

将收集到的14名飞行学员大侧风着陆飞行实验中的AUs、注视类、头部姿态类数据通过SDP融合成由Tradius和Ttheta组成的二维融合特征。对融合特征构成的样本集进行模糊C均值聚类(fuzzy C-means clustering, FCM),计算每个聚类中主观工作负荷类别标签的占比,这些类别标签根据NASA-TLX量表数据划分得到。构建混淆矩阵验证聚类与标签的对应关系,从而评价主观工作负荷与客观融合特征模式的相关性,并结合标签信息进行分析和可视化。

3 实验结果与讨论

3.1 NASA-TLX量表的主观工作负荷情况

14名飞行学员在大侧风着陆实验中的NASA-TLX量表工作负荷情况如图3所示。对NASA-TLX量表数据进行处理后,分别得到6个维度相加平均后的得分(z=27.9,峰值偏差=25)以及根据权重计算得到的平均后加权总分(s=0.49,峰值偏差=0.48)。通过Shapiro-Wilk正态性检验,发现z和s的p值均大于0.05,表明数据符合正态分布。通过CRITIC法得到工作负荷各维度权重分布如表1所示。

对NASA-TLX量表数据进行K-means聚类后得到每个聚类标签分布,如图4所示。最小DB = 0.34对应的K-means聚类将飞行学员的主观工作负荷分为3类,第一类(标签“0)的聚类中心为(0.184,176.3),第二类(标签“1”)的聚类中心为(0.161,48.5),第三类(标签“2”)的聚类中心为(0.17,300.1)。

3.2 基于面部视频的客观数据处理结果

大侧风着陆实验中,基于OpenFace提取的飞行学员的面部视频中的AUs采用6切片SDP融合,结果如图5所示。SDP图像从水平0开始,逆时针依次对应AU的17个类别,均匀分布角度,每个AU占据30°的扇区,不同的颜色用于区分不同的AU。图5(a)~图5(f)反映了AUs的时序变化,AU转动幅度及宽度越大,表明维持工作状态投入的体力与精力更多,工作负荷会更高。

注视类数据采用SDP融合的结果如图6所示。融合特征反映飞行学员的注意力分配和视觉搜索,随着大侧风的发生,注视角度的变化率和波动范围会增大,飞行学员注意力会更加集中,工作负荷也会增加。

pose_Tx、pose_Ty、pose_Tz、pose_Rx、pose_Ry、pose_Rz构成的头部姿态类数据的SDP融合结果如图7(a)~图7(f)所示。大侧风会使飞机姿态改变,飞行学员头部会不自觉偏移,学员会试图获取最佳视觉角度看清仪表和跑道。融合特征表明学员头部转动幅度越大、越频繁,意味着获取信息时需消耗更多的肌肉力量和注意力资源,会增加工作负荷。

3.3 SDP融合特征与主观工作负荷关系分析

利用FCM对AUs、注视类、头部姿态类SDP融合得到的二维特征(Tradius, Ttheta)进行聚类,并生成可视化混淆矩阵,如图8所示。图8(a)中工作负荷量表得分标签(1, 2, 3)与融合二维特征数据的FCM聚类(3类)存在显著对应关系,表明注视类、AUs和头部姿态类数据与工作负荷相关,可作为工作负荷及其维度度量的特征模式。同时,SDP在非线性特征融合与模式保持方面,能真实地反映飞行学员在主观工作负荷与客观融合特征的耦合关系,为非侵入式工作负荷预测提供了可解释的建模途径。

4 大侧风着陆工作负荷及维度预测模型

4.1 样本集构建

以大侧风着陆实验中的14名飞行学员的SDP融合特征模式及其对应的主观工作负荷标签构建预测模型的样本集。将每名飞行学员的SDP融合数据(注视类、AUs和姿态类数据的SDP融合)分割成6个片段,并对各片段取平均值,共计得到84条数据。所有数据经人工校验,确保样本独立性。输入特征包括AU融合类数据(radius,theta),注视类融合数据(radiusga、thetaga、radiusgp、thetagp),头部姿态类融合数据(radiusha、thetaha、radiushp、thetahp)。目标变量为NASA-TXL量表标定的3类工作负荷标签。按7∶3的比例,随机从向量集中选择25组向量作为测试集,其余共59组向量为训练集。进一步设计了基于“PCA降维+直接特征拼接”的对照组。同样是整合后84条样本数据,但不进行SDP映射,而是将3类客观特征直接进行拼接后经主成分分析(principal component analysis,PCA)进行线性降维,用于与SDP融合方法的性能对比。

4.2 基于机器学习的工作负荷预测模型构建与评价

采用4种机器学习方法:随机森林(random forest, RF)、支持向量机(SVM)、逻辑回归(logistic regression, LR)、极端梯度提升(extreme gradient boosting, XGBoost)来构建工作负荷分类预测模型。

SVM ^[34]是一种监督学习算法,适用于如眼部角度、头部姿态的极坐标特征等高维数据和小样本学习问题,对研究中小样本数据有优势。RF ^[35]是一种集成学习方法,通过构建多个决策树并对结果进行投票来预测类别。与单一的决策树相比,具有更高的稳定性和泛化能力。LR^[36]通过拟合数据的特征与类别间关系,输出概率值,并将LR结合一对多(one-vs-rest,OvR)策略扩展为三分类问题。XGBoost^[37]是一种高效的梯度提升决策树算法,通过集成多个弱学习器来形成一个强学习器,从而提高预测准确性。

对4种机器学习构建的工作负荷预测模型使用网格搜索或随机搜索进行超参数优化。基于SVM的工作负荷预测模型使用多项式核函数,正则化参数C=0.1,gamma参数是scale。基于随机森林工作负荷预测模型,经过随机搜索方式优化后,决策树的数量为100,分裂内部节点所需的最小样本数为 5,叶子节点处需要的最小样本数为 1,树的最大深度是20。基于XGBoost的工作负荷预测模型通过正则化机制防止过拟合,L2正则化系数是1,L1正则化系数是0,树的数量为100,最大深度为10,学习率为0.05, gamma为 0.3,特征采样比例为0.6。基于逻辑回归的工作负荷预测模型经网格搜索优化后,正则化参数默认为1,最大迭代次数为500次。

最后采用受试者操作特征曲线(receiver operating characteristic curve, ROC)曲线、准确率、精确率、F₁分数、混淆矩阵、5折交叉验证得分来评价基于机器学习的工作负荷预测模型的性能。ROC曲线通过绘制不同阈值下的真阳性率(true positive rate, TPR)和假阳性率(false positive rate, FPR)来展示模型分类能力。AUC值表示ROC曲线下面积,值越大,模型的性能越好。使用SHAP值对模型进行可解释性分析,可视化特征对模型输出的影响大小。在对NASA-TLX表中的维度进行预测时,采用随机森林和支持向量回归(support vector regression,SVR)模型,对多输出回归任务进行建模。为验证SDP融合在多模态特征整合中的有效性,对照组在相同的训练集与测试集划分、特征标准化及4类机器学习算法(SVM、RF、LR、XGBoost)下进行建模且所有模型均使用相同的超参数优化策略与5折交叉验证方法,从而确保性能差异仅来源于特征融合方式的不同。

4.3 预测结果分析

在4种机器学习方法中,如表2与表3所示分别为两种特征融合方式下4种模型的预测结果。

可以看出,SDP融合模型在所有分类器中均显著优于线性融合方法。这一结果表明,SDP融合能够更有效地捕获AUs、注视和头部姿态特征间的非线性耦合关系与时序形态特征,能够显著提升模型的识别精度与稳定性。相较之下,PCA等线性降维方法在面对高维、多模态小样本数据时存在信息损失与特征交互能力不足的问题。

在表2中,基于随机森林(RF)的工作负荷预测模型在精确率、准确率、召回率和F₁分数方面表现最佳,而基于逻辑回归(LR)的工作负荷预测模型,特征交互建模能力不足,导致召回率与精确率同步衰减(均<71%),意味着线性模型难以捕获大侧风着陆飞行工作负荷的非线性动力学特征。基于SVM的工作负荷预测模型结构风险最小化原则对小样本数据样本数(n=84)的泛化能力好,有效缓解其中过拟合问题,5折交叉验证均值和ROC曲线方面表现最佳。

如图9所示,基于SVM模型的工作负荷预测真阳性率,且AUC值为0.98,说明多项式核函数能对注视类、AUs、头部姿态类数据的非线性关系进行有效建模。在工作负荷的标签预测中表现出优异的性能,能支持飞行学员在大侧风着陆工作负荷管理。

在特征重要性排序中,如图10所示为每个特征对工作负荷模型分类预测的平均影响程度,通过图中的特征排序,能够得出在第一类中,特征theta具有最高的平均SHAP值,对模型预测结果的贡献度大。与第一类相比,特征radius在第二类的预测中占据主导地位,在第三类中,特征theta再次显示出其在预测模型中的重要性,但与第一类相比,其影响程度有所降低,其他特征的影响分布较为均匀。

基于随机森林回归模型和支持向量回归(SVR)的工作负荷维度预测模型通过SHAP解释方法,发现不同特征对6个维度的飞行负荷的影响呈现显著差异性,如图11、图12所示。经过特征筛选发现:在脑力需求维度,头部位置参数(radiushp, thetahp)的特征重要性得分高于0.08,表明该特征集与认知资源分配关联性较强,大侧风条件下学员可能通过代偿性策略维持认知效能;体力负荷维度中分析显示,头部姿态参数(radiusha, thetaha)的SHAP均值达0.15±0.05(置信区间95%),在FAA咨询通告AC 120-51E ^[38]中提出的“颈部肌群活动度与操纵杆力耦合效应”,揭示了持续侧风修正引发的颈部肌肉代偿性收缩是体力消耗的主要诱因。

在时间需求中,AUs融合数据(radius, theta)与头部姿态(radiushp, thetahp)更重要,原因是面部微表情与头部运动节律的配合,与目视检查-姿态调整的时间配比要求吻合;通过判断头部位置与姿态,更能发现影响学员的努力程度;而业绩水平更多会受到头部姿态影响;受挫程度在各个维度中幅度均不明显。

4.4 讨论

采用“SVM+融合特征模式”的大侧风着陆工作负荷预测模型能够较好地捕捉工作负荷及其维度影响因素的复杂非线性关系,在精确率和召回率之间取得平衡,模型的稳定性和分类能力能够及时发现学员在大侧风着陆飞行任务中工作负荷情况,帮助教员调整训练任务强度,优化飞行学员训练策略。

通过SHAP分析结果表明,SDP 转化后的角度类特征(如 theta、radius)在工作负荷判别中贡献度大,可据此设定个体化阈值,用于实时监测飞行学员的负荷变化并触发预警提示,实现训练强度的动态调节。同时,这些注视与姿态特征可为显示界面布局优化提供依据,减少视线切换负担,提升人机交互效率。

特别地,本文研究实现了一种以人为核心的基于多模态数据融合的工作负荷预测方法,为以工作负荷评测为核心的人为因素适航验证提供了参考。同时,该方法可构建面向飞行机组的工作负荷动态监测与评价系统、进一步促进民机驾驶舱人机交互设计与飞行状态管理,具有实际工程价值。

尽管研究取得了有价值的成果,但仍存在一定局限性。首先,样本规模相对较小(N=14),其次,这些发现仅专注于特定大侧风着陆训练场景,尽管通过5折交叉验证等方式,但仍可能影响模型结论的稳健性。未来研究可通过扩大样本规模、通过不同任务和场景,构建跨实验验证集进行重复验证评估,以验证模型在更广泛场景下的稳定性与普适性。

5 结论

(1)构建了中教阶段大侧风着陆飞行训练场景,基于场景提取影响飞行训练工作负荷的因素,建立了充分体现大侧风着陆训练“人-机-环境”系统交互过程的工作负荷综合测评体系,为更准确的工作负荷及其维度度量奠定基础。

(2)大侧风着陆飞行实验中飞行学员注视类、AUs和头部姿态类数据的SDP融合时序特征能体现着陆飞行中飞行学员维持视觉信息获取投入的精力和时间、注意力集中程度等,融合特征与NASA-TLX量表数据的聚类存在显著的对应关系radiusiga、radiusgp radiusiga、radiusgp可作为工作负荷及其维度的度量模式。

(3)采用支持向量机、随机森林、逻辑回归、极端梯度提升4类机器学习方法,构建了飞行学员大侧风着陆工作负荷预测模型。实验结果表明,与传统“PCA+直接拼接”的工作负荷预测模型相比,基于“SVM+融合特征模式”的工作负荷预测模型精度高(AUC=0.98,召回率82%),能支持飞行训练中的工作负荷管理。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Feng C Y, Wanyan X R, Yang K, et al. A comprehensive prediction and evaluation method of pilot workload[J]. Technology and Health Care, 2018, 26: 65-78.

[2]	Mcfarlan R A. Human factors in air transport design[M]. New York: McGraw-Hill, 1946.

[3]	Kelly D, Efthymiou M. An analysis of human factors in fifty controlled flight into terrain aviation accidents from 2007 to 2017[J]. Journal of Safety Research, 2019, 69(6): 155-165.

[4]	Boeing Company. Virtual reality training for crosswind landing: a study on cognitive load and performance metrics: BCA-TR-2021-015[D]. Seattle: Boeing Commercial Airplanes, 2021.

[5]	Parasuraman R, Sheridan T B, Wickens C D. A model for types and levels of human interaction with automation[J]. Human Factors, 2000, 42(3): 367-381.

[6]	董大勇. 民机适航审定中的机组工作量测量方法研究[D]. 上海: 上海交通大学, 2012.

[7]	Dong Dayong. Research on measurement methods of crew workload in civil aircraft airworthiness certification[D]. Shanghai: Shanghai Jiao Tong University, 2012.

[8]	Wickens C D. Multiple resource theory and workload assessment[J]. Human Factors, 2002, 44(3): 449-455.

[9]	Wei Z M, Zhuang D M, Wanyan X R, et al. A model for discrimination and prediction of mental workload of aircraft cockpit display interface[J]. Chinese Journal of Aeronautics, 2014, 27(5): 1070-1077.

[10]	Landry S J, Lagu A, Kinnari J. State-based modeling of continuous human-integrated systems: an application to air traffic separation assurance[J]. Reliability Engineering & System Safety, 2010, 95(4): 345-353.

[11]	Hart S G, Staveland L E. Development of NASA-TLX (task load index): results of empirical and theoretical research[J]. Advances in Psychology, 1988, 52: 139-183.

[12]	Lin C J, Lin P H, Chen H J, et al. Effects of controller-pilot communication medium, flight phase and the role in the cockpit on pilots’ workload and situation awareness[J]. Safety Science, 2012, 50(9): 1722-1731.

[13]	Yan S, Cong C T, Chen Y, et al. Effect of user interface layout on the operators’ mental workload in emergency operating procedures in nuclear power plants[J]. Nuclear Engineering & Design, 2017, 322: 266-276.

[14]	Wang Y, Zhang C, Liu C, et al. Analysis on pulse rate variability for pilot workload assessment based on wearable sensor[J]. Human Factors & Ergonomics in Manufacturing & Service Industries, 2024, 34(6): 1-12.

[15]	Jiang Y, Cheng B. Workload assessment in aviation using NASA-TLX[J]. Ergonomics, 2023, 65(4): 547-560.

[16]	辛甜, 罗志燕, 蒋利添, 等. 飞机着陆阶段飞行员工作负荷分析[J]. 人类工效学, 2019, 25(2): 62-65.

[17]	Xin Tian, Luo Zhiyan, Jiang Litian, et al. Analysis of pilots' workload during aircraft landing phase[J]. Human Factors and Ergonomics in Manufacturing & Service Industries, 2019, 25(2): 62-65.

[18]	Wang X S, Gong G H, Li N, et al. Use of multimodal physiological signals to explore pilots' cognitive behavior during flight strike task performance[J]. Medicine in Novel Technology and Devices, 2020, 5: 1-6.

[19]	卫宗敏, 郝红勋, 徐其志, 等. 飞行员脑力负荷测量指标和评价方法研究进展[J]. 科学技术与工程, 2019, 19(24): 1-8.

[20]	Wei Zongmin, Hao Hongxun, Xu Qizhi, et al. Advances in measurement indicators and evaluation methods of pilot mental workload[J]. Science Technology and Engineering, 2019, 19(24): 1-8.

[21]	Mohanavelu K, Poonguzhali S, Janani A, et al. Machine learning-based approach for identifying mental workload of pilots[J]. Biomedical Signal Processing and Control, 2022, 75: 103623.

[22]	Chen J, Xue L, Rong J, et al. Real-time evaluation method of flight mission load based on sensitivity analysis of physiological factors[J]. Chinese Journal of Aeronautics, 2022, 35(3): 450-463.

[23]	王崴, 赵敏睿, 高虹霓, 等. 基于脑电和眼动信号的人机交互意图识别[J]. 航空学报, 2021, 42(2): 324290.

[24]	Wang Wei, Zhao Minrui, Gao Hongni, et al. Intent recognition in human-computer interaction based on EEG and eye-movement signals[J]. Chinese Journal of Aeronautics, 2021, 42(2): 324290.

[25]	Debie E, Rojas R F, Fidock J, et al. Multimodal fusion for objective assessment of cognitive workload: a review[J]. IEEE Transactions on Cybernetics, 2021, 51(3): 1542-1555.

[26]	柳忠起, 袁修干, 樊瑜波. 基于BP神经网络的飞行绩效评价模型[J]. 北京航空航天大学学报, 2010, 36(4): 403-406.

[27]	Liu Zhongqi, Yuan Xiugan, Fan Yubo. Flight performance evaluation model based on BP neural network[J]. Journal of Beijing University of Aeronautics and Astronautics, 2010, 36(4): 403-406.

[28]	马菲, 张琼, 赖培军, 等. 基于BP神经网络的试飞训练安全性量化模型[J]. 航空学报, 2024, 45(5): 409-422.

[29]	Ma Fei, Zhang Qiong, Lai Peijun, et al. Quantitative safety model for test flight training based on BP neural network[J]. Chinese Journal of Aeronautics, 2024, 45(5): 409-422.

[30]	Tao D, Tan H, Wang H, et al. A systematic review of physiological measures of mental workload[J]. International Journal of Environmental Research and Public Health, 2019, 16(15): 2716.

[31]	郑玲, 乔旭强, 倪涛, 等. 基于多维信息特征分析的驾驶人认知负荷研究[J]. 中国公路学报, 2021, 34(4): 11-21.

[32]	Zheng Ling, Qiao Xuqiang, Ni Tao, et al. Study on driver cognitive load based on multidimensional information feature analysis[J]. China Journal of Highway and Transport, 2021, 34(4): 11-21.

[33]	Niu W K, Jiang Y Y, Zhang X, et al. Changes of effective connectivity in the alpha band characterize differential processing of audiovisual information in cross-modal selective attention[J]. Neuroscience Bulletin, 2020, 36(9): 1009-1022.

[34]	冯传宴, 完颜笑如, 刘双, 等. 不同脑力负荷水平下的情境意识研究[J]. 西北工业大学学报, 2020, 38(3): 610-618.

[35]	Feng Chuanyan, Wanyan Xiaoru, Liu Shuang, et al. Study on situation awareness under different mental workloads[J]. Journal of Northwestern Polytechnical University, 2020, 38(3): 610-618.

[36]	Diakoulaki D, Mavrotas G, Papayannakis L. Determining objective weights in multiple criteria problems: the critic method[J]. Computers & Operations Research, 1995, 22(7): 763-770.

[37]	Yang L, Deng M. Based on K-means and fuzzy K-means algorithm classification of precipitation[C]// International Symposium on Computational Intelligence and Design. Hangzhou: IEEE, 2010: 218-221.

[38]	Jiddah S M, Yurtkan K. Feature fusion for human compound emotion recognition: a fusion of facial expression texture and action unit data[J]. Pattern Analysis and Applications, 2024, 27(4): 1-15.

[39]	Baltrusaitis T, Zadeh A, Lim Y C, et al. OpenFace 2. 0: facial behavior analysis toolkit[J]. IEEE Transactions on Affective Computing, 2022, 13(1): 11-24.

[40]	潘鹏程, 向阳, 陈天佑, 等. 基于多通道数据融合及CNN的电机故障诊断方法[J]. 船海工程, 2024, 53(4): 29-35.

[41]	Pan Pengcheng, Xiang Yang, Chen Tianyou, et al. A motor fault diagnosis method based on multi-channel data fusion and CNN[J]. Journal of Ship and Ocean Engineering, 2024, 53(4): 29-35.

[42]	Imants P, Greef T D. Using eye tracker data in air traffic control[C]// European Conference on Cognitive Ergonomics. New York: ACM, 2011: 259-260.

[43]	Chauhan V K, Dahiya K, Sharma A, et al. Problem formulations and solvers in linear SVM: a review[J]. Artificial Intelligence Review, 2018, 52(2): 803-855.

[44]	Jalal N, Mehmood A, Choi G S, et al. A novel improved random forest for text classification using feature ranking and optimal number of trees[J]. Journal of King Saud University-Computer and Information Sciences, 2022, 34(6): 2733-2742.

[45]	Christodoulou E, Ma J, Collins G S, et al. A systematic review shows no performance benefit of machine learning over logistic regression for clinical prediction models[J]. Journal of Clinical Epidemiology, 2019, 110: 12-22.

[46]	Chen T, Guestrin C. XGBoost:a scalable tree boosting system[C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’16). New York: ACM, 2016: 785-794.

[47]	Federal Aviation Administration. Crew resource management training: AC 120-51E[R]. Washington, DC: Federal Aviation Administration, 2004.

基金资助

民航飞行技术与飞行安全重点实验室自主研究项目(FZ2022ZZ01)

中央高校基本科研业务费专项(25CAFUC03094)

四川省民航飞行技术与飞行安全工程技术研究中心项目(GY2024-34D)

PDF (16615KB)

访问

被引

详细

导航

Received	Published	Revised
2025-05-13	2026-04-18	2025-11-19
Online Date
2026-06-08

摘要