192、YOLOv11 知识蒸馏实战三：多层特征蒸馏的层级选择消融与温度参数实验上周帮一个做工业缺陷检测的团队调蒸馏，对方在YOLOv11上直接套了经典KD Loss，结果mAP掉了2个点。debug了一整天，发现他们把教师和学生的所有特征层都对齐了——包括那些浅层的纹理特征层。这其实是个很常见的坑：不是所有层都适合蒸馏，选错了层级反而会引入噪声。今天这篇笔记，我会把多层特征蒸馏的层级选择逻辑和温度参数调优的完整实验过程拆开来讲。代码都是我在YOLOv11源码基础上改的，每一步都踩过坑，你直接复制就能跑。一、为什么多层特征蒸馏比单层更棘手YOLOv11的backbone有5个stage，neck部分用了CSP-PAN结构，总共会产生7-8个可用的特征图。如果像某些论文那样简单粗暴地把所有层都加上蒸馏Loss，你会发现训练初期loss降得很快，但验证集精度纹丝不动。原因在于：浅层特征（比如stage1、stage2）主要编码边缘、纹理等低级信息，教师和学生在这些层上的差异很大一部分来自感受野的差异，而不是知识迁移的差距。强行对齐这些层，相当于强迫学生去模仿教师在不同感受野下的响应，反而会干扰学生对语义特征的学习。我自己的经验是：蒸馏的层级选择本质上是一个信噪比问题——你要找到那些教师知识信噪比最高的层，而不是所有层。二、代码实现：可配置的多层蒸馏模块先看我的蒸馏模块设计。这里我用了nn.ModuleDict来管理不同层的蒸馏配置，而不是写死一个固