标签:Agent Attention

全新注意力范式!清华黄高团队提出Agent Attention:无缝集成Softmax和Linear的注意力机制

Agent Attention的核心思想是在传统的Softmax Attention和Linear Attention的基础上,引入一组额外的Agent token,使得Agent token作为Query token的代理,先...