技术方案的第一步，永远是调研。
林晨把透明蒸馏项目的调研分为两条线：一条是可解释性方向，交给张明远；另一条是蒸馏方法方向，他自己来。陆小溪负责梳理现有数据管道，评估改造可行性，暂时不参与调研。
周四上午，林晨坐在工位上，面前摊着三篇打印出来的论文，笔记本上密密麻麻写满了标注。屏幕上还开着七八个标签页，全是最近两年顶会里关于模型蒸馏和可解释性的文章。
这不是他第一次做技术调研——入职第一周的可解释性调研他已经做过一轮了，那份四十多页的报告还在内部Wiki上挂着。但那次的调研是广撒网式的，目的是了解全貌；这次的调研是精准打击式的，目的是找到在蒸馏过程中保留可解释性的具体技术路线。
他先梳理了现有的主流蒸馏方法。
硬标签蒸馏是最简单的——教师模型输出分类结果，学生模型直接学习这些标签。效果有保证，但可解释性几乎为零。学生模型学到的是教师的答案，而不是教师的推理过程。PASS。
软标签蒸馏是Hinton在2015年提出的经典方法——教师模型输出概率分布（soft labels），学生模型学习这个分布。好处是信息量更大，坏处是依然只传递了结果层面的知识，没有传递中间层的推理逻辑。PASS。
特征蒸馏更进一步——不仅传递输出，还传递中间层的特征表示。学生模型不仅要学怎么答，还要学怎么想。这个方向更接近目标，但现有的特征蒸馏方法关注的是效果保真，而不是可解释性。也就是说，学生模型学到了中间层的特征分布，但它无法解释这些特征对最终决策的贡献度。有潜力，但不够。
关系蒸馏——教师模型中不同样本之间的关系也被传递给学生模型。比如两篇文章在教师的表示空间里是相似的，学生模型也应该保持这种相似性。这个方法天然带有一定的语义信息，对可解释性有帮助。可以考虑。
注意力蒸馏——将教师模型中的注意力图作为额外监督信号传递给学生。注意力图本身就是一种特征归因——它告诉你模型在哪些位置投入了更多的计算资源。这个方法和可解释性有直接关系，但它只适用于基于注意力机制的模型，对非Transformer架构不适用。重点关注。
林晨在笔记本上画了一个对比表格，把每种方法的优点、缺点、和可解释性的关联度逐一标注。然后他在表格最右边加了一列，标题是可解释性改造潜力。
（本章节未完结，点击下一页翻页继续阅读）
正在加载...