标签:温度共享问题

CVPR 2024|知识蒸馏中的Logit标准化:辅助logit-based KD算法稳定涨点

摘要:文章针对传统知识蒸馏中的温度设置问题,提出了Logit标准化方法。传统知识蒸馏默认学生和教师网络的温度是全局一致的,这导致学生网络被迫模仿教师网络...