国内最大MoE开源大模型来了，还基于此搞出个火遍港台的AI聊天应用

今日应用

熊猫云简历

熊猫办公 - 时下流行的精品简历模板，免费在线制作，助您轻松展现职业精彩，一站式职业形象打造！

今日话题

国内最大MoE开源大模型来了，还基于此搞出个火遍港台的AI聊天应用

 

重点标签 MoE模型、开源、AI应用、元象XVERSE、技术革新

文章摘要

机器之心报道了元象XVERSE发布的中国最大的MoE（Mixture of Experts）开源模型——XVERSE-MoE-A36B。这一模型拥有255B的总参数和36B的激活参数，实现了在不显著增加训练和推理计算成本的情况下，达到100B模型性能的跃升。与同类模型相比，元象MoE在多个权威评测中表现优异，超越了国内外多个同类模型。

元象XVERSE的MoE模型通过高性能全家桶系列的开源，无条件免费商用，使得中小企业、研究者和开发者能够根据需求选择使用。MoE架构通过组合多个细分领域的专家模型，打破了传统扩展定律的局限，实现了在扩大模型规模时保持模型性能最大化的目标。

元象基于MoE模型自主研发的AI角色扮演与互动网文APP Saylo，在港台地区取得了显著的商业成功，下载量在中国台湾和香港娱乐榜上分别位列第一和第三。此外，元象还与腾讯音乐等合作伙伴在文化、娱乐、旅游、金融等领域进行了深度合作，推动了大模型的商用进程。

在技术创新方面，元象自研MoE的高效训练和推理框架，并在XVERSE-MoE-A4.2B中推动了MoE专家架构的革新。通过更细粒度的专家设计和专家路由与预丢弃策略，提高了模型的灵活性和性能。同时，通过动态数据切换和学习率调度策略的优化，进一步提升了模型的训练效果。

元象XVERSE的MoE模型在训练时间上减少了30%，推理性能提升了100%，达到了业界领先水平，为AI应用的低成本部署提供了强有力的支持。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心