标签：Self-Attention
LLM 系列超详细解读 (十)｜大语言模型中的超大激活值
本文深入探讨了大语言模型（LLM）中出现的“超大激活值”现象，这种现象指的是在模型的激活值中，有极个别值远大于其他值，差异可达100,000倍。作者首先分析了...
Attention优化｜2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3
文章首先从Online-Softmax的角度切入，逐步深入讲解了3-pass Safe-Softmax、2-pass Online-Softmax以及1-pass FlashAttention的原理。接着，详细讲解了FlashA...
晒应用是一个专注于软件和资源网站分享的导航类网站。我们致力于为用户提供最新、最热门的应用推荐和AI资源，涵盖各种AI绘画、AI制图、AI工具、AI剪辑、AI文本、AI创作、实用工具、免费软件、在线服务和在线影视导航。无论您是寻找最佳的数字工具还是想要了解最新的黑科技应用，晒应用都能满足您的需求。