标签：Transformer
其实Mamba是一种线性注意力？清华大学黄高团队揭秘开视觉Mamba的真实面目！
本文深入探讨了Mamba模型与Linear Attention Transformer之间的相似性和差异，揭示了Mamba成功的关键因素，并提出了一种新的线性注意力模型MLLA。Mamba是一种...
原作者带队，LSTM卷土重来之Vision-LSTM出世
Vision-LSTM（ViL）是一种新型的视觉架构，由LSTM的提出者Sepp Hochreiter及其团队开发。与Vision Transformer（ViT）和Vision Mamba（Vim）等模型相比，ViL...
超分辨图像无限生成！清华甩出Inf-DiT：Diffusion Transformer 任意分辨率上采样
Inf-DiT的核心优势在于其创新的单向块注意力机制，该机制允许模型在推理过程中自适应地调整显存开销，并有效处理全局依赖关系。通过DiT架构和逐步上采样的方...
单GPU训练一天，Transformer在100位数字加法上就达能到99%准确率
自2017年提出以来，Transformer已成为AI大模型的主流架构，但在算术任务中表现不佳，尤其是加法。这一问题主要源于Transformer无法准确跟踪大范围数字中每个...
Yann LeCun：ViT慢且效率低，实时图像处理还得看卷积
在当前的人工智能领域，关于Vision Transformer（ViT）与传统卷积神经网络（CNN）哪个更优越的争论一直存在。今年初，OpenAI的Sora模型使得ViT架构受到关注。...
Meta等最新研究：多token预测，提升大模型推理效率
多token预测是一种新型的预训练方法，旨在提高大语言模型（LLM）的推理效率。这种方法要求模型在每个位置上同时预测接下来的n个Token，而不是像传统的下一个T...
Attention优化｜2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3
文章首先从Online-Softmax的角度切入，逐步深入讲解了3-pass Safe-Softmax、2-pass Online-Softmax以及1-pass FlashAttention的原理。接着，详细讲解了FlashA...
ICLR’24 Spotlight｜PixArt-α：文生图扩散 Transformer 架构的快速训练
PixArt-α是一种由华为诺亚方舟实验室、香港大学和香港科技大学共同研发的文生图（Text-to-Image, T2I）扩散Transformer架构。该模型在训练速度、图像质量、艺...
原作者带队，LSTM真杀回来了！
步骤2：撰写摘要总结xLSTM：LSTM的重生与进化在20世纪90年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想，为深度学习的成功案例做出了...
重磅！Llama-3，最强开源大模型正式发布！
步骤2：撰写摘要Meta公司在官网发布了一款名为Llama-3的开源大模型，该模型专注于AIGC（人工智能生成内容）领域。Llama-3有两种参数规模，分别为80亿和700亿...
晒应用是一个专注于软件和资源网站分享的导航类网站。我们致力于为用户提供最新、最热门的应用推荐和AI资源，涵盖各种AI绘画、AI制图、AI工具、AI剪辑、AI文本、AI创作、实用工具、免费软件、在线服务和在线影视导航。无论您是寻找最佳的数字工具还是想要了解最新的黑科技应用，晒应用都能满足您的需求。