← 返回 AIRadar 首页

Perplexity 详解模型训练机制 JOLT：同步训练教师模型以解决自蒸馏捷径问题

Perplexity 揭示传统自蒸馏中教师模型因信息特权走捷径的缺陷，并提出 JOLT 机制通过结果奖励与发散惩罚同步训练教师，优化蒸馏效果。