​Mistral首个多模态模型Pixtral 12B来了！还是直接放出24GB磁力链接

今日应用

超级简历WonderCV

WonderCV - 您事业飞跃的助手，提供各行业简历模板，HR推荐，简历优化建议，成就高薪职位和留学梦想！

今日话题

​Mistral首个多模态模型Pixtral 12B来了！还是直接放出24GB磁力链接

 

重点标签 Mistral、Pixtral 12B、多模态模型、AI技术、端侧AI

文章摘要

Mistral 团队发布了名为 Pixtral 12B 的多模态大模型，参数量为 12B。该模型具备视觉编码器，支持 1024×1024 大小的图像，有 24 个隐藏层，层数为 40、隐藏维度大小为 14,336，注意力头有 32 个。Pixtral 12B 的词汇库有 131,072 个不同的 token，能实现非常细腻的语言理解和生成。该模型至少有能力处理文本和图像数据，实现多模态处理。

Pixtral 12B 性能指标

Pixtral 12B 支持任意大小的图像和 128k 的上下文窗口，也能处理同时包含文本和图像的大型文档。在性能上，Pixtral 12B 虽不及 GPT-4o 和 Claude-3.5 Sonnet，但在各基准上全面胜过了 Claude-3 Haiku 和 Gemini-1.5 8B。在开放多模态模型中，Pixtral 在大多数基准上都表现最佳，仅在 DocVQA 上略低于 Qwen2 7B。

Pixtral 12B 应用案例

Pixtral 12B 能通过 OCR 将包含数学公式的科学文章图片转录成 Markdown 格式，识别潦草的手写内容，提取图片信息和描述图像内容。此外，Pixtral 还能理解更加复杂的图像，并从中提取出关键信息和见解。Pixtral 也具备非常出色的解释和推理能力，在 MMMU 和 MathVista 上的多模态知识和推理性能均领先其它参与对比的模型。

Mistral 的愿景

Mistral 旨在简化用户的使用流程，降低用户的使用成本，将复杂的技术部分都整合进 La Platforme，让用户只需进行简单的配置就能享受 AI 带来的便利和效率。Mistral 的模型矩阵中已经包含了用于通用任务和科研任务的多种免费模型，包括支持 80 多种编程语言的 Codestral 模型。

Mistral AI 简介

Mistral AI 是一家法国人工智能初创公司，成立于 2023 年 5 月。该公司在 AI 领域以开发高质量的大模型而闻名，其 Twitter 虽有 10 万关注者却并未关注任何一个人，其 CEO Arthur Mensch 的个人账户也毫不活跃。Mistral AI 曾在 2023 年 6 月获得了创纪录的 1.18 亿美元种子轮融资，是欧洲历史上最大的种子轮融资之一。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心