传统PC巨头IBM发布了最新的Granite3.1模型，跑分超过Llama3.1、Qwen2.5 和谷歌的 Gemma2

IBM 正式发布了其新一代开源大语言模型 Granite 3.1，这是一组轻量级、先进的开源基础模型，支持多语言、代码生成、推理和工具使用，能够在有限的计算资源上运行。这一系列模型具备 128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。

Granite 3.1 有 4 种不同的尺寸和 2 种架构：

• 密集模型：2B 和 8B 参数模型，总共使用 12 万亿个token进行训练。
• 专家混合MoE模型：稀疏 1B 和 3B MoE 模型，分别具有 400M 和 800M 激活参数，总共使用 10 万亿个token进行训练。

Granite 3.1 8B 和 2B 具有一项新功能，即调用幻觉检测功能，从而增强了对进行工具调用的代理的控制和可观察性。

。

与生成模型一样，Granite 3.1 提供12 种不同语言的多语言支持：英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。

IBM 声称，Granite 3.1 8B Instruct 模型在相同规模的开源竞争对手中表现最佳，包括 Meta 的 Llama3.1、Qwen2.5 和谷歌的 Gemma2。

Granite3.1模型的发布是在 IBM 快速迭代 Granite 系列的背景下进行的，早在10月份就推出了 Granite3.0。IBM 透露，其与生成 AI 相关的业务收入已达到20亿美元。新版本的核心理念是将更多功能集成到更小的模型中，以便企业用户能够更轻松地运行和更具成本效益。

IBM 研究部副总裁大卫・考克斯（David Cox）表示，Granite 模型广泛应用于 IBM 内部产品、咨询服务以及客户服务，同时也以开源形式发布，因此需要在各个方面都达到高水平。模型的性能评估不仅仅依赖于速度，还包括效率，帮助用户在获取结果时节省时间。

在上下文长度方面，Granite3.1的提升尤为明显，从初版的4K 扩展至128K，这对企业 AI 用户尤为重要，尤其是在检索增强生成（RAG）和智能代理 AI 方面。延长的上下文长度允许模型处理更长的文档、日志和对话，使其更好地理解和响应复杂查询。

IBM 还推出了一系列嵌入模型，以加快数据转换为向量的过程。其中 Granite-Embedding-30M-English 模型的查询时间为0.16秒，速度优于竞争对手的产品。为了实现 Granite3.1的性能提升，IBM 在多阶段训练流程和高质量训练数据的使用上进行了创新。

在幻觉检测方面，Granite3.1模型将幻觉保护集成到了模型内部，能够自我检测并减少错误输出。这种内置检测功能优化了整体效率，减少了推理调用次数。

当前，Granite3.1模型已向企业用户免费开放，并通过 IBM 的 Watsonx 企业 AI 服务提供。未来，IBM 计划保持快速更新的节奏，Granite3.2将于2025年初推出多模态功能。

官方博客:https://www.ibm.com/new/announcements/ibm-granite-3-1-powerful-performance-long-context-and-more