跳转到内容

蒸馏：修订历史

差异选择：选中要对比的修订的单选按钮，然后按Enter键或下面的按钮。
说明：（当前）=与最后修订的差异，（之前）=与上个修订的差异，小=小编辑。

2025年2月9日 (星期日)

  • 当前之前 10:012025年2月9日 (日) 10:01 Ztm0929 留言 贡献 655字节 +655 创建页面，内容为“蒸馏（知识蒸馏） 是一种模型压缩技术，通过让小型模型（学生模型）学习大型模型（教师模型）的知识（如输出概率分布、中间特征），在保持性能的同时显著降低计算成本。其核心是知识迁移，而非简单模仿输出。但也会带来知识衰减的问题。 ==== (1) 知识衰减（Knowledge Degradation） ==== * 信息损失不可逆 ：每次蒸馏都会丢失部分隐式知识（如深…” 标签：可视化编辑
检索自“https://wiki.ztm0929.cn/蒸馏”