标签:自注意力

华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA,推理加速5倍

研究背景大型语言模型(LLMs)在自然语言处理(NLP)领域取得了显著成果,但随着模型规模的扩大,计算需求也随之增加。现有优化 Transformer 的方法,如线性 ...