谷歌、Anthropic推出创新神经压缩Equal-Info Windows

今日应用

千图设计室

千图设计室AI海报是千图网旗下的智能海报在线设计平台，提供免费AI智能海报生成，只需输入一句话，即可快速生成各种节日海报,日签,邀请函,电商主图,公众号配图,喜报,倒计时等模板生成。一键可生成多种设计风格美图，满足您的个性化需求，快速稿定设计需求。

今日话题

谷歌、Anthropic推出创新神经压缩Equal-Info Windows

 

重点标签 神经压缩、大语言模型、窗口分割、窗口压缩、实验数据

文章摘要

研究人员联合谷歌DeepMind和Anthropic推出了一种创新的神经压缩方法——Equal-Info Windows，旨在解决大语言模型（LLM）如ChatGPT、Gemini、Claude等在训练和推理过程中因参数和功能复杂性导致成本指数级上升的问题。该方法通过文本数据的压缩，旨在提高模型的训练和推理效率，同时便于处理超长文本。

窗口分割是该方法的第一步，将原始文本数据分割成连续字符序列的窗口，每个窗口长度固定，以减少大语言模型在处理长距离依赖时的计算负担，提高处理速度和效率。接着，窗口压缩将每个窗口压缩为固定长度的比特串，通过算术编码（AC）实现高效的比特级压缩，同时保持原始文本信息。

在压缩过程中，研究人员训练了两个模型：M1负责将原始文本转换为压缩后的比特流，而M2则学习如何从压缩的比特流中恢复和理解原始文本信息。M2模型在推理阶段能够基于压缩输入生成未压缩的文本输出，实现压缩文本的逆转和新文本序列的生成。

实验数据显示，尽管Equal-Info Windows在模型参数数量相同的情况下，其困惑度略高于传统子词分割器，但在减少序列长度方面具有明显优势，能够在较少的自回归步骤中生成文本，降低模型推理时的延迟。此外，Equal-Info Windows在处理长文本时表现出色，能够更好地捕捉文本中的长距离依赖关系，对文档检索和编码问题等任务尤为重要。

该研究为大语言模型的训练和推理提供了一种新的神经压缩方法，有助于提高模型的效率和处理能力，同时为AIGC领域的开发者生态和市场研究提供了新的思路和工具。

文章来源

原文地址: 点我阅读全文
原文作者: AIGC开放社区