微软Win11中发现国产开源大模型！RWKV官方：没人给我钱啊？现在捐赠还来得及

今日应用

简单AI

简单AI提供全面的AI社区服务，包括AI作图、文生图prompt社区、AI文案、AI头像、AI素材、AI设计等。以“快人一步，轻松玩转AI” 为理念，致力于让每一个用户都能便捷地使用和理解人工智能。

今日话题

微软Win11中发现国产开源大模型！RWKV官方：没人给我钱啊？现在捐赠还来得及

 

重点标签 微软、Office、RWKV、AI、模型

文章摘要

微软正在尝试在其Office套件中集成国产开源大模型RWKV，这一消息引起了广泛关注。RWKV是一个由27家大学、研究机构和公司的研究人员组成的团队开发的新型架构，旨在挑战传统的Transformer模型。最新版Windows 11系统中的Office文件夹被发现包含以rwkv命名的DLL文件，这表明微软可能已经开始在Office中集成RWKV模型。

RWKV模型的优势在于其支持100多种语言，有利于全球化部署，并且与传统Transformer模型相比，运行能耗低得多，能够在各种设备上高效运行。微软可能将RWKV用于正在测试的本地Copilot、memory recall等功能，这些功能在专为AI重构的新版Windows 11上都是实时的。微软引入了全新的系统架构，将CPU、GPU和新的高性能神经处理单元NPU结合在一起，NPU负责在后台实时运行AI。

RWKV的设计灵感来自苹果21年的研究《An Attention Free Transform》，团队意识到如果在公式中使用循环矩阵就可以将网络结构写成RNN。与GPT系列的时间复杂度O(n^2)相比，RNN的时间复杂度只有O(n),空间复杂度是O(1)。这意味着生成内容的速度不会随长度而夸张增涨，显存占用也是恒定的。

RWKV的开山论文背后是由来自27家大学、研究机构和公司的研究人员组成的团队，作者达30人。共同一作彭博（Peng Bo），毕业于香港大学物理系，编程经验20+年，曾在世界最大外汇对冲基金之一Ortus Capital就职，负责高频量化交易。他还出版过一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。

今年，RWKV又上新推出了两种新架构模型：Eagle (RWKV-5) 、Finch（RWKV-6)。这两种序列模型以RWKV-4架构为基础，在多头矩阵值状态和动态递归机制上做了改进，提高了RWKV模型的表达能力，同时保持RNN的推理效率特征。同时，新架构引入了一个新的多语言语料库，包含1.12万亿个token。团队还基于贪婪匹配开发了一种快速的分词器，以增强RWKV的多语言性。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台