开源创新框架MoA，可极大增强大模型的能力

今日应用

AI提示语

以提示语为纽带，建立人与 AI 可信赖的连接 | 让每个人都能轻松使用 AI，提高 10 倍生产力

今日话题

开源创新框架MoA，可极大增强大模型的能力

 

重点标签 MoA框架、AIGC、大语言模型、开源模型、资源优化

文章摘要

Together AI开源的创新框架Mixture-of-Agents（MoA）在提升大模型生成内容能力和安全性方面取得显著成果，同时降低了对AI算力的需求。在AlpacaEval 2.0等多个基准测试中，MoA表现出色，得分高达65.1%，超过OpenAI的GPT-4o（57.5%），即使在开源大模型条件下也保持优势。MoA的架构由多个代理层组成，每层包含多个大模型代理，它们独立工作但紧密协作，通过深入分析前一层输出生成精准全面回答。代理分为提议者和聚合器，前者生成有用参考响应，后者整合高质量输出，充分发挥各模型长处，弥补不足。

MoA在大模型鲁棒性方面表现突出，通过多模型代理协作减少不确定性，提供稳定可靠输出，对医疗咨询、法律服务等高可靠性领域尤为重要。资源优化方面，MoA智能选择组合代理模型输出，在保持高性能的同时减少计算资源需求，使大模型在资源受限环境如手机、平板等也能发挥作用。MoA的开源地址和论文地址分别为https://github.com/togethercomputer/moa?tab=readme-ov-file和https://arxiv.org/abs/2406.04692。

MoA框架特点：
1. 多代理层架构：MoA由多个代理层组成，每层包含多个大模型代理，独立工作但紧密协作。
2. 深入分析与综合：代理层对前一层输出进行深入分析和综合，生成精准全面回答。
3. 提议者与聚合器角色分配：提议者生成有用参考响应，聚合器整合高质量输出，发挥各模型长处，弥补不足。
4. 性能指标与多样性考虑：选择每层大模型时，基于性能指标和多样性考虑，确保输出相互补充。
5. 鲁棒性提升：多模型代理协作减少不确定性，提供稳定可靠输出，适用于高可靠性领域。
6. 资源优化：智能选择组合代理模型输出，减少计算资源需求，使大模型在资源受限环境也能发挥作用。

MoA框架的开源和创新为大语言模型（LLM）的发展和应用落地提供了新的思路和解决方案，有助于推动AIGC领域的进一步发展。

文章来源

原文地址: 点我阅读全文
原文作者: AIGC开放社区