原作者带队，LSTM真杀回来了！

今日应用

网盘搜索

盘搜搜官网支持百度云搜索、115网盘、360云盘、华为网盘、新浪微盘等搜索服务，是您工作、学习、娱乐的网盘搜索神器。

今日话题

原作者带队，LSTM真杀回来了！

 

重点标签 xLSTM、LSTM、Transformer、语言模型、深度学习

文章摘要

步骤2：撰写摘要总结
xLSTM：LSTM的重生与进化
在20世纪90年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想，为深度学习的成功案例做出了贡献。然而，随着Transformer的崛起，LSTM的局限性逐渐显现。最近，LSTM的提出者Sepp Hochreiter发布了xLSTM，旨在缩小与现有最先进语言模型（LLM）的差距。

xLSTM的改进与特性
xLSTM在三个方面解决了LSTM的局限性：无法修改存储决策、存储容量有限以及缺乏可并行性。xLSTM通过指数门控和新颖的内存结构进行了改进，包括sLSTM和mLSTM两种变体，它们都通过指数门控增强了LSTM。xLSTM块在高维空间中对过去进行非线性总结，以更好地分离不同的历史或上下文。

实验评估
研究者对xLSTM进行了实验评估，发现其在合成任务中表现出色，并在验证集复杂度方面优于所有现有方法。在自回归语言建模设置中，xLSTM在不同大小的模型上进行了训练，并在多个方面进行了深入评估，包括推断较长语境、验证易混度、下游任务表现以及在PALOMA语言基准数据集上的表现。结果表明，xLSTM在性能和扩展性上都更胜一筹。

未来展望
Sepp Hochreiter表示，借助xLSTM，他们已经开始构建自己的欧洲语言模型。这表明xLSTM有望在未来的语言模型领域发挥重要作用，为汽车产业数字化和产品智能化升级带来新的机遇和挑战。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心