1. 项目概述为什么VTOL飞行员负荷评估是个“硬骨头”干飞行模拟和航空人因研究这么多年我越来越觉得评估飞行员脑子里那根“弦”绷得有多紧是保障飞行安全最核心、也最棘手的问题之一。这玩意儿在学术上叫“飞行员工作负荷”说白了就是飞行员在执行任务时需要动用的认知资源和付出的心理努力的总和。负荷太低飞行员可能注意力涣散负荷太高又容易导致决策失误、反应迟钝这就是所谓的情境意识丧失是很多事故的根源。传统上评估负荷主要靠两招一是事后问卷比如大名鼎鼎的NASA-TLX让飞行员自己打分二是观察飞行表现和飞机参数比如杆量、航迹偏差。但这俩都有明显短板。问卷是主观的、间断的你没法在飞行员最手忙脚乱的时候打断他问“老兄你现在感觉脑子够用吗”而飞行参数更多反映的是操作结果对认知过程的“黑箱”揭示有限。近年来随着可穿戴传感器和机器学习的发展通过心理生理信号进行客观、连续的负荷监测成了研究热点。心率变异性、皮电、脑电EEG这些指标都被证明与认知负荷相关。然而大部分研究都集中在传统固定翼或直升机飞行上。直到我深入接触了垂直起降飞行器才发现这里的挑战是另一个维度的。VTOL结合了直升机的垂直起降和固定翼飞机的高速巡航能力是城市空中交通UAM的明星。但它的操作模式堪称“精神分裂”一次任务中飞行员需要在悬停、过渡飞行、高速巡航、滑跑着陆等多种模式间频繁切换。这种动态性带来了独特的认知负荷。一个固定翼飞行员突然要处理悬停时的精细姿态控制或者一个直升机飞行员要适应高速巡航时的能量管理原有的操作习惯会成为负担瞬间推高工作负荷。更关键的是为了追求经济性和灵活性许多VTOL设计为单飞行员配置这意味着驾驶舱里缺少了传统双人机组中那种交叉检查、负荷分担的安全冗余。一旦飞行员负荷超载后果可能是灾难性的。因此开发一套能实时、准确评估VTOL飞行员工作负荷的系统不再是锦上添花而是确保这类新型航空器安全运营的刚需。我们的研究正是瞄准了这个痛点尝试用多模态机器学习这把“手术刀”去更精细地解剖VTOL飞行中的认知状态。2. 核心思路为什么必须是“多模态”单一传感器就像盲人摸象。心率快了可能是负荷高也可能只是飞行员刚才喝了杯咖啡。脑前额叶氧合血红蛋白浓度升高可能意味着认知努力但也可能只是头部轻微移动产生的伪迹。要想相对可靠地评估像飞行负荷这样复杂的心理生理状态数据融合是唯一出路。我们的核心假设是不同模态的信号从不同侧面反映了负荷状态它们之间存在互补性也可能存在冗余。通过机器学习模型进行融合分析可以捕捉到更稳健、更全面的负荷特征。这个思路并不新鲜但在VTOL这个具体、高动态的场景下哪些信号最有效如何有效地融合它们这就是我们要回答的问题。我们的技术路线可以概括为“全链条数据驱动”从高保真模拟环境搭建、多模态传感器数据同步采集到精细化的信号处理与特征工程最后构建并优化机器学习模型。整个流程的设计都紧紧围绕着一个目标让模型学会从飞行员的身体和操作中“读”出他的认知负荷水平。3. 实验设计与数据采集在模拟器中构建“压力测试”理论需要数据验证而获取真实VTOL的飞行数据成本极高且风险巨大。因此我们搭建了一个基于X-Plane 12的中等保真度飞行模拟平台。选择X-Plane是因为其物理引擎在航空社区备受认可并且有现成的Beta Technologies ALIA-250电动VTOL机型模型这保证了我们模拟的飞行特性具有一定真实性。3.1 模拟环境与任务设计模拟器由5块垂直屏幕组成提供225度的水平视野旨在营造沉浸式环境提升飞行员的态势感知。操纵设备包括油门杆、驾驶杆和方向舵踏板我们对其进行了定制以模拟VTOL独特的垂直/水平推力独立控制。任务设计是整个研究的基石。我们以美国联邦航空管理局FAA的“动力升力航空器驾驶员认证标准”为蓝本设计了一套涵盖VTOL核心操作的飞行任务。这些任务不是随意排列的而是由3名经验丰富的认证飞行员私照、商照、航线运输执照各一名预先评估了预期难度确保任务难度能覆盖从低到高的负荷谱。任务清单包括基础操作垂直起飞至指定高度并悬停、保持高度与航向。模式转换从悬停过渡到前飞加速至100节后关闭垂直推力、从平飞过渡回垂直飞行。这是VTOL最具特色的高负荷阶段。机动飞行大坡度转弯45度坡度的左右转弯、慢速飞行。这些任务对空间感知和精确操纵要求极高。进近与着陆包括固定翼模式的滑跑着陆、垂直着陆以及在狭窄区域如机库之间的垂直起降。着陆阶段尤其是带侧风或空间受限时是公认的负荷峰值期。我们将23个独立任务按相似难度分组最终形成13个“任务组”。飞行员在完成一组任务后才进行一次NASA-TLX问卷评分以避免频繁打断带来的沉浸感破坏和调查疲劳。任务顺序在参与者间进行了平衡以抵消学习效应和疲劳效应的影响。3.2 多模态传感器阵列给飞行员穿上“数据铠甲”我们集成了一个堪称“豪华”的多模态传感框架旨在尽可能全面地捕捉生理、行为和情境信号。具体配置如下生理信号心电与皮电使用Empatica E4腕带测量血容量脉冲、心率和皮电活动同时使用Shimmer GSR设备电极贴于左手食指和中指获取更高质量的皮电信号。心率和皮肤电导是反映唤醒度和心理负荷最经典的生理指标。脑活动采用BIOPAC的fNIRS头带。与EEG相比fNIRS通过测量前额皮质血氧水平来反推神经活动抗运动伪影能力更强佩戴也更舒适更适合动态的飞行模拟环境。瞳孔直径通过Tobii眼动仪获取。瞳孔扩张被证实与认知努力程度相关。行为信号操纵力在驾驶杆手柄上粘贴两个薄膜压力传感器测量飞行员抓握杆的力度。这是评估体力负荷和紧张程度的直接指标。身体姿态使用微软Kinect V2传感器捕捉飞行员上半身肩、肘、腕、头的3D关节坐标。我们假设负荷变化会影响身体的紧张度和动作幅度。手腕加速度通过E4腕带获取用于辅助识别运动伪影和可能的手部微动作。操纵输入通过XPlaneROS接口同步记录油门杆、驾驶杆和方向舵踏板的实时输入数据。情境与衍生信号眼动与注视语义Tobii Pro 3眼动仪不仅记录注视点坐标其前置场景相机还录制了飞行员的视野视频。我们利用OneFormer图像分割模型对每一帧模拟画面进行语义分割识别出天空、建筑、道路、飞机机身等类别再结合注视点坐标计算出飞行员在每一时刻“看什么”的概率分布。例如是更多地注视仪表还是扫视窗外环境飞行衍生数据从模拟器中提取飞机的空间位置、姿态角、空速、垂直速度等参数。这些数据直接反映了飞行任务的客观难度和飞行员的操纵表现。实操心得传感器同步是生命线。这么多设备来自不同厂家采样率各异从几Hz的fNIRS到上百Hz的操纵输入时间同步是最大的工程挑战。我们采用基于网络时间协议NTP的硬件触发方案在任务开始、结束时发送同步脉冲信号到所有数据记录终端并在后期处理中利用这些时间戳进行微调对齐。任何数据不同步后续的多模态融合分析都将失去意义。4. 数据处理与特征工程从原始数据到模型“食材”原始数据就像未经处理的食材不能直接下锅。我们需要通过一系列处理提取出能表征负荷变化的特征。4.1 各模态信号预处理fNIRS信号脑血氧信号非常脆弱。我们使用Biopac的fNIR Soft Pro软件进行标准处理流程首先进行2Hz低通滤波去除高频噪声然后采用基于加速度计的滑动窗口运动伪影去除算法来校正头部运动带来的干扰最后利用修正的比尔-朗伯定律计算氧合血红蛋白和脱氧血红蛋白的浓度变化。眼动信号我们将连续的注视点序列分解为“扫视”和“注视”事件。扫视是眼球在兴趣点之间的快速跳动注视则是眼球相对静止地获取信息。通过计算视线移动速度并设定一个经验阈值通过人工复核视频确定我们识别出扫视事件。进而我们提取了每秒平均扫视次数、平均注视时长、平均扫视距离等特征。已有研究表明高负荷下飞行员扫视距离可能变短注视模式可能更集中。注视语义特征这是我们的一个创新点。我们不是简单知道飞行员在看哪里而是想知道他关注的是什么“东西”。我们将分割出的语义类别如仪表、天空、建筑、道路赋予不同的优先级权重例如注视“仪表”的权重最高因为这与飞行操控直接相关。对于每一帧的注视点我们计算其周围区域所有语义类别的加权概率最终得到一个8维的向量描述此刻飞行员视觉注意力的语义分布。其他信号对于GSR、HR、操纵力、身体姿态等连续信号我们主要进行基本的滤波如去除工频干扰和归一化处理。特别是生理信号我们让每位飞行员在实验前进行了30秒的静息基线测量后续的特征计算会减去这个基线值以消除个体差异如基础心率不同的影响。4.2 特征提取与构建对于每个飞行任务段对应一个NASA-TLX评分我们对所有预处理后的时间序列数据计算统计特征。常用的包括均值、标准差反映信号的集中趋势和波动情况。例如皮电信号的标准差增大可能意味着情绪唤醒或应激。最大值、最小值捕捉信号的极端值。基于基线的归一化值计算任务期间均值与静息基线均值的比值进一步消除个体差异。最终我们为每个任务样本构建了一个包含数十个特征的特征向量涵盖了生理、行为、情境、飞行衍生四大类别。注意事项处理缺失数据。在实际实验中由于设备故障、连接中断或操作疏忽部分数据会有缺失。我们采用了K近邻KNN插补法来处理。它的原理是在特征空间中找到与当前样本在非缺失特征上最相似的K个其他样本然后用这些“邻居”在缺失特征上的值通常是均值来填充当前样本的缺失值。这种方法比直接删除样本或简单用全局均值填充能更好地保持数据分布结构。5. 模型构建与结果分析寻找负荷的“指纹”我们的目标是将飞行员的心理负荷分为“低”、“中”、“高”三类。标签来源于NASA-TLX中“心理需求”维度的评分。我们对每位飞行员的所有任务评分进行标准化将低于均值0.6个标准差的任务标为“低”高于0.6个标准差的标为“高”中间的标为“中”。5.1 基线验证预期难度可靠吗首先我们做了一个有趣的基线分析直接用任务设计时专家评定的“预期难度”来预测飞行员实际报告的“心理需求”。结果令人深思准确率低于40%。这说明专家认为难的任务飞行员不一定觉得负荷高反之亦然。个体的技能、经验、当时的生理心理状态都会极大地影响实际感知负荷。这强有力地证明了开发客观、个性化负荷评估模型的必要性而不能仅仅依赖任务设计的先验假设。5.2 通用模型与个性化模型我们尝试了两种建模策略通用模型将所有飞行员的数据混合训练一个统一的模型。我们测试了线性判别分析、支持向量机、随机森林和XGBoost等算法。其中XGBoost表现最佳在三分类问题上的平衡准确率约为51%。这虽然显著高于随机猜测33%但离实用仍有距离。个性化模型这是我们的重点。思路是为每位飞行员单独训练一个模型。具体做法是以一位飞行员为目标将他/她的数据与其-他所有飞行员的数据混合。但为了强调目标飞行员的特性我们对目标飞行员的数据进行上采样增加其在训练集中的比例。然后使用XGBoost进行训练和验证采用留一法交叉验证。个性化模型的效果显著提升平均平衡准确率达到了63%比通用模型提高了12个百分点。我们进一步分析了上采样比例的影响当目标飞行员数据占比约为20%时模型性能达到峰值。比例太低模型学不到个人特性比例太高又容易在小样本上过拟合。这个发现极具工程价值它意味着在未来实际应用中只需要让飞行员进行少量例如几次代表性任务的“校准飞行”采集其个性化数据就能显著提升针对该飞行员的负荷监测精度。5.3 特征重要性分析谁在“说话”我们通过“消融实验”来评估不同模态特征的重要性。即每次从特征集中移除某一类模态如移除所有身体姿态特征观察模型准确率的下降程度。下降越多说明该模态越重要。结果非常有意思最具预测力的模态飞行衍生数据和身体姿态。这完全符合直觉。飞机本身的动态速度、高度、姿态角变化直接定义了任务的客观难度。而身体姿态尤其是上半身的紧张度、活动范围可能是心理负荷在肢体上的无意识体现这是一个被以往研究忽视的强信号。中等预测力的模态心率和眼动注视坐标、扫视特征。这两者是传统负荷研究的重点我们的结果也验证了其有效性。预测力较弱甚至起反作用的模态皮电、fNIRS和手腕加速度。这个结果有些出乎意料但细想之下可能的原因有皮电信号极易受温度和微小运动干扰fNIRS在动态场景下的信号质量可能不稳定手腕加速度可能更多关联的是操纵动作而非纯粹的认知状态。操纵输入特征杆量、舵量也表现不佳这可能是因为熟练飞行员即使在高负荷下也能保持平滑的操纵而新手在低负荷下也可能出现粗猛的操纵使得操纵输入与认知负荷的非线性关系非常复杂。惊喜发现注视语义特征表现出不错的预测力。结合视频回看我们发现了一个模式在低负荷的巡航阶段飞行员倾向于长时间注视仪表板而在高负荷的进近着陆阶段他们的视线会在仪表和外部环境如跑道、障碍物之间快速、频繁地切换。这种注意分配策略的差异被我们的语义特征成功捕捉。核心洞见这项研究告诉我们对于VTOL飞行负荷评估“行为”信号身体姿态、操纵力和“情境”信号飞机状态、视觉关注内容可能比传统的“生理”信号心、脑、皮肤更具鲁棒性和实用性。这或许是因为在动态飞行环境中生理信号更易受干扰而行为是认知负荷更直接、更稳定的外在输出。这为未来开发轻量化、非侵入式的座舱监测系统指明了方向也许不需要给飞行员戴上复杂的脑电帽通过摄像头分析其姿态和视线结合飞机数据就能实现相当准确的负荷估计。6. 局限、挑战与未来方向尽管结果鼓舞人心但我们必须清醒地认识到研究的局限性模拟器与现实的差距无论模拟器多么逼真都缺乏真实飞行中的生理应激如重力变化、振动、风险感知。在模拟器中飞行员知道没有真实危险其心理生理反应会打折扣。数据规模限制28名飞行员的数据对于复杂的多模态机器学习模型来说仍然有限。我们尝试了更先进的Transformer模型来处理原始时间序列但效果49%反而不如基于特征工程的XGBoost主要原因就是数据量不足导致过拟合。负荷标签的“金标准”问题我们依然依赖NASA-TLX作为监督学习的标签。虽然它是权威量表但仍是主观报告。如何获得更客观、连续的负荷“真值”是整个领域面临的挑战。实时性当前研究是离线的、任务后分析。要实现真正的实时监测需要在特征提取和模型推理的轻量化、低延迟方面做大量工作。基于这些我认为未来的工作有几个明确的方向扩大数据规模与多样性收集更多飞行员、更多样化任务包括特情处置的数据并探索在真实飞行试验中收集数据的可能性。向端到端时序模型探索在数据量足够的情况下研究LSTM、Transformer等模型直接处理原始或浅层处理后的时间序列信号实现真正的连续负荷值预测而不仅仅是任务级别的分类。开发轻量化部署方案研究哪些特征子集在保证精度的前提下最易于在嵌入式系统上实时计算为集成到下一代航空电子系统或飞行员可穿戴设备中做准备。从评估到干预最终目标不是仅仅监测负荷而是构建闭环系统。当系统检测到飞行员负荷过高时可以触发自适应人机界面如简化显示信息、提供决策建议或启动辅助驾驶功能这才是提升安全性的终极体现。我个人在实际操作中的体会是这项研究最难的不是算法而是如何设计一个能有效“激发”不同等级负荷的飞行任务以及如何确保多路高异质性数据在毫秒级上的精准同步。每一个传感器的部署、每一行数据同步代码的编写都可能直接影响最终结论的可靠性。它更像一项严谨的工程实验而机器学习只是最后那一步的分析工具。对于有志于进入人因工程、航空安全或神经工效学领域的研究者来说建立起这种“端到端”的系统思维和扎实的实验能力远比追逐最新的AI模型更为重要。