周五下午三点，3号会议室。
白板上已经画满了架构图和公式，不同颜色的马克笔交织在一起，像一幅抽象画。林晨站在白板前，手里拿着红色马克笔，正在给损失函数的三个权重系数标注含义。
张明远和陆小溪坐在对面，各自面前摊着笔记本。这是透明蒸馏项目组的第二次正式会议，距离上次组会已经过了四天。
我把这几天调研的成果快速过一遍，林晨放下马克笔，走到投影幕前，然后我们讨论实验设计。
他点开PPT，第一页是架构总览图。三角形框架：效果保真、模型压缩、可解释性保持，中间是核心损失函数。
这部分大家上次都看过了，直接跳到更新。他翻到下一页，是三部分损失函数的详细设计。
输出蒸馏损失，用传统的KL散度就行，这块没有争议。特征蒸馏损失，我们用MSE对齐中间层表示，这也是成熟方案。关键在第三部分——可解释性蒸馏损失。
他切换到下一页，上面画着两个分支。
Transformer架构走注意力权重归因路线，非Transformer架构走FastSHAP路线。两条路线统一在一个接口下，运行时按模型类型自动选择。
张明远举手：注意力权重归因那条线，多注意力头的情况下怎么处理？直接平均还是加权？
好问题。林晨切换到一张新幻灯片，上面是他画的注意力头聚合方案，我的初步想法是——不做平均，而是保留所有头的归因信息，让学生模型学习教师的头级归因分布。但这样信息量太大，可能需要先做头选择，挑选对归因贡献最大的几个头。
头选择的依据是什么？陆小溪推了推眼镜，第一次在会议上主动提问。
教师模型中每个头的注意力熵。林晨解释，熵越低的头，说明它越专注于某些特征，归因能力越强。我们只保留这些低熵头的信息，丢弃高熵头的噪声。
这本身就是一个实验点。陆小溪说，需要验证头选择策略的有效性。
没错。林晨点头，所以我设计的实验方案里，第一组实验就包含了这个验证。
他翻到实验设计页面，上面是一张实验矩阵表格。
实验分为三组，他指着表格，逐行解释。
第一组：基线对比实验。教师模型使用T厂现有的推荐大模型，学生模型分别用三种蒸馏方法训练——纯软标签蒸馏（Baseline-A）、软标签+特征蒸馏（B
（本章节未完结，点击下一页翻页继续阅读）
正在加载...