标签：知识蒸馏
Mamba作者新作：将Llama3蒸馏成混合线性 RNN
在深度学习领域，Transformer 模型因其注意力机制而广受欢迎，该机制允许模型关注输入序列的相关部分，从而实现更好的上下文理解。然而，注意力机制的计算开...
英伟达最新技术分享：手把手教你用Llama 3.1合成数据改进模型！附代码
英伟达在其技术博客中详细介绍了如何利用Llama 3.1模型生成合成数据，以支持领域模型或RAG系统的微调。合成数据在AI领域已有十多年的应用历史，但其重要性随...
CVPR 2024｜知识蒸馏中的Logit标准化：辅助logit-based KD算法稳定涨点
摘要：文章针对传统知识蒸馏中的温度设置问题，提出了Logit标准化方法。传统知识蒸馏默认学生和教师网络的温度是全局一致的，这导致学生网络被迫模仿教师网络...
CVPR 2024｜进一步加速落地：压缩自动驾驶端到端运动规划模型
摘要：本文介绍了PlanKD，这是一种为压缩端到端运动规划器而设计的知识蒸馏方法。该方法通过信息瓶颈学习与规划相关的特征，实现有效的特征蒸馏。同时，提出...
总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
本文讨论了大语言模型（LLMs）的迅速发展及其在科研和工业界的应用。由于闭源LLMs与开源LLMs之间存在差距，研究者致力于提升开源LLMs和其他小模型的能力。知...
晒应用是一个专注于软件和资源网站分享的导航类网站。我们致力于为用户提供最新、最热门的应用推荐和AI资源，涵盖各种AI绘画、AI制图、AI工具、AI剪辑、AI文本、AI创作、实用工具、免费软件、在线服务和在线影视导航。无论您是寻找最佳的数字工具还是想要了解最新的黑科技应用，晒应用都能满足您的需求。