什么东西被发明出来后，莫名其妙地违背了它的用途？

白露未晞me，有的人喜欢瞻仰皇陵，而有的人喜欢凭吊荒冢。 查看知乎原文 emmmmm，要不我来提名一下知识蒸馏 (knowledge distillation)？ 知识蒸馏早期的一个主要目标其实就是模型压缩。

其中一个集大成的工作是 Hinton 他们的Distilling the Knowledge in a Neural Network，核心思想无非是大型神经网络或者多个模型组成的 ensemble 效果很好，但真正部署起来又慢又贵，于是可以让一个更小的 Student 去模仿 Teacher，把 Teacher 输出中包含的信息"蒸馏"到小模型里。

即大而强的 Teacher >>>> 小而便宜且方便部署的 Student。 但是后来事情就莫名其妙地变得诡异了起来 Orz。 研究者开始更关注蒸馏对训练本身的影响了。 2017 年 CVPR 的 A Gift From Knowledge Distillation 就报告了几个有意思的结果：通过网络中间层传递信息，接受知识迁移的 Student 不仅优化速度更快，而且可以超过一个与自己大小相同、直接从头训练的网络。

甚至 Teacher 是在另一个任务上训练出来的，知识迁移有时照样能带来收益。这些结果不得不让人更想单独研究一下：蒸馏究竟怎样影响了模型的训练？ A Gift From Knowledge Distillation 于是大家就开始"玩花活"了(注：此处为褒义)，其中以 2018 年 ICML 的 Born Again Neural Networks最为出圈，现在都快 2000citations 了。

作者暂时放下了模型压缩这个目标，直接研究 Student 和 Teacher 一样大的情况。在这组实验里，两者使用完全相同的网络结构和参数规模。Teacher 训练完以后，用它的预测去教一个重新随机初始化、结构与自己相同的 Student。

结果，在多组实验中，Student 居然超过了 Teacher (作者在计算机视觉和语言建模任务上都观察到了这种现象)。 Born Again Neural Networks 到这里，知识蒸馏的用途就出现了一个很有意思的变化。

最初的出发点是"Teacher 太大，所以需要一个更小的 Student"；现在却发现，Teacher 和 Student 可以一模一样大，而且 Student 还可能比 Teacher 强。

更有意思的是，这还没完。既然新训练出来的 Student 可以表现得更好，那干脆让它毕业以后继续当下一代 Teacher： 于是，同一个网络架构可以一代一代地"教自己的下一代"。当然，效果不会保证逐代提高：原论文就观察到，收益经过几代后会趋于饱和，有的代次还会回落。

而这种让同架构模型教下一代的做法，还有一个更家喻户晓的名字，那就是 self-distillation (因为这其实也算是自蒸馏的一种形式)。 2019 年 ICCV 的 Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation 又展示了另一种做法。

作者连一个独立、预先训练好的 Teacher 都不要了，直接在同一个网络的不同深度接上辅助分类器，让最深分支的预测和特征去指导较浅分支，整个网络一起训练，相当于网络内部自己给自己做知识蒸馏。

在 CIFAR-100 上，将各分支的预测集成后，相对普通训练基线的准确率平均提升了 2.65 个百分点，不同架构上的提升从 0.61 到 4.07 个百分点不等。 Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation 于是，知识蒸馏的用途就从"大模型教小模型"，扩展到了"一样大的模型也可以教，学生甚至可以超过老师"，再到"同一个网络内部也能自己教自己"。

再后来，花样就更多了，而且是一系列更加如雷贯耳的工作，譬如 BYOL → DINO → iBOT → data2vec → DINOv2 → SigLIP 2。这些想必能刷到这个回答的人都看过，我就不多说。

不过也许我们这里可以简单偏个题，Teacher 到底提供了什么样的信息？ Hinton 最初讨论知识蒸馏时，一个很重要的想法是 soft targets，也就是软标签中包含的 dark knowledge。

比如一张猫的图片，标准标签只会告诉网络"它是猫"；Teacher 可能输出猫 0.9、狗 0.07、狐狸 0.02、汽车 0.01。这里除了正确答案，其余类别的相对概率也包含信息：在 Teacher 看来，这张图片更容易与狗混淆，与汽车混淆的可能性则小得多。

Born Again Neural Networks 专门拿这件事做了实验。他们设计了 Dark Knowledge with Permuted Predictions，简称 DKPP：保留 Teacher 预测概率最高的类别及其概率，把其余类别的概率随机调换位置。

这样一来，"哪个非首选类别对应哪个概率"的关系就被打乱了，但 Teacher 的最高置信度和整组概率值仍然保留着。 结果，使用这些被打乱的输出训练，Student 仍然可以超过 Teacher，不过提升通常小于完整的蒸馏方法。

这说明，具体的类别关系并不足以解释全部收益，打乱后保留下来的信息也能帮助训练。 到了 2020 年，Mobahi、Farajtabar 和 Bartlett 在 NeurIPS 的 Self-Distillation Amplifies Regularization in Hilbert Space 里直接研究了前面那个问题：自蒸馏没有收到关于任务的新信息，为什么模型在未参与训练的数据上仍然可能表现得更好？

他们在一个带有正则化、可以严格分析的 Hilbert 空间函数拟合模型里发现，反复自蒸馏会强化正则化效果，逐渐限制构成拟合函数的成分。这样一来，前几轮自蒸馏可能抑制过拟合，提高泛化能力；

继续蒸馏下去，约束越来越强，又可能开始欠拟合，性能反而下降。虽然这个理论有明确的模型假设，不能直接当成所有深度神经网络的统一解释，但它给出了一个具体机制：即使没有新增的任务信息，训练方式的变化也足以带来泛化收益。

Anyway，感觉这一系列的工作的发展还是挺有意思的。(ง •̀_•́)ง 查看知乎讨论