周三上午十点,3号会议室。
林晨第一次以项目负责人的身份坐到了主位上。面前的白板还是空的,马克笔整整齐齐地放在槽里。他手里捏着一张A4纸,上面是自己昨晚写的会议提纲——字迹有点潦草,但逻辑清晰。
门被推开,两个年轻人一前一后走了进来。
走在前面的是个高个子,皮肤偏黑,穿着T厂标准的灰格子衬衫和运动鞋,嘴角总挂着一丝不太自信的笑。他叫张明远,去年校招进来的,在推荐系统组做了一年多的特征工程,写代码快但架构经验不足。简历上写着华科本科、浙大硕士,专业方向是机器学习。
后面跟着的是个短发女生,戴一副金属细框眼镜,表情淡然,看起来话不多。她叫陆小溪,今年初从一家AI创业公司跳槽过来,在推理引擎组待了半年,负责模型部署和性能优化。技术功底扎实,但对推荐系统和可解释性方向了解不深。
坐吧。林晨指了指对面的椅子,咱们认识一下。我林晨,之前在轻舟项目组做可解释性方向,现在负责透明蒸馏这个子项目。
张明远坐下来,双手放在膝盖上,看着有点紧张:林工好,我看过你上次技术分享的PPT,讲得特别好。
叫我林晨就行,不用叫林工。林晨笑了笑,转向陆小溪,小溪对吧?你在推理引擎组的时候,优化过模型加载速度,那块做得不错。
陆小溪微微点头:嗯,我之前主要做模型部署和性能优化,蒸馏这块接触不多,可解释性就更少了。
没关系,这就是我们这个项目有意思的地方。林晨站起来,走到白板前,拿起一支蓝色马克笔。
他在白板上写下三个词,排成一行:可解释性 | 蒸馏 | 结合。
我先把项目背景说清楚。他在每个词下面画了一条横线,开始补充细节,轻舟项目的核心目标,是让大模型变小、变快、变便宜,同时尽量不损失效果。传统蒸馏只关注效果保真——学生模型的输出尽量接近教师模型。但陈博士提出了一个新要求:在蒸馏过程中,不能只传递输出,还要传递决策依据。换句话说,学生模型不仅要,还要解释为什么答对
他在下面画了一个大大的圈,里面写下四个字:透明蒸馏。
这就是我们的项目名——指的是模型决策过程透明可解释,指的是从大模型到小模型的知识迁移。两个目标合在一起,就是我们的核心任务。
张明远举手:那可解释性具体怎么定义?是特征归因那种,还是生
(本章节未完结,点击下一页翻页继续阅读)