主要公开日志

所有天明的百科全书公开日志的联合展示。您可以通过选择日志类型、输入用户名(区分大小写)或相关页面(区分大小写)筛选日志条目。

日志
  • 2025年2月9日 (日) 10:01 Ztm0929 留言 贡献创建了页面蒸馏 (创建页面,内容为“蒸馏(知识蒸馏) 是一种模型压缩技术,通过让小型模型(学生模型)学习大型模型(教师模型)的知识(如输出概率分布、中间特征),在保持性能的同时显著降低计算成本。其核心是知识迁移,而非简单模仿输出。但也会带来知识衰减的问题。 ==== (1) 知识衰减(Knowledge Degradation) ==== * 信息损失不可逆 :每次蒸馏都会丢失部分隐式知识(如深…”) 标签可视化编辑