AI21 Labs发布Jamba 1.6，打破长文本处理极限，官方称其是企业部署的最佳开源模型

今天，我们推出了 Jamba 1.6，这是市场上最适合企业部署的开源模型家族，有以下3大优势：

1. 领先的开源模型质量：Jamba Large 1.6 在质量上优于 Mistral Large 2、Llama 3.3 70B 和 Command R+，而 Jamba Mini 1.6 在质量上优于 Ministral 8B、Llama 3.1 8B 和 Command R7B。
2. 无与伦比的长上下文性能：凭借 256K 的上下文窗口和混合 SSM-Transformer 架构，Jamba 1.6 在 RAG（检索增强生成）和长上下文问答任务中表现出色。
3. 灵活的部署方式：除了 AI21 Studio，模型还可以从 Hugging Face 下载并在本地或 VPC（虚拟私有云）中私有部署，更多的部署选项即将推出。

Jamba 在质量上优于 Mistral、Meta 和 Cohere，并与领先的封闭模型相媲美，同时允许企业完全在本地或 VPC 内部署，确保敏感数据始终保存在企业内部，不会暴露给模型供应商。借助 Jamba 1.6，企业不再需要在开源模型的数据安全性和封闭模型的领先质量之间做出选择。

速度评分由 Artificial Analysis 报告。Arena Hard 评分来自相关模型的官方排行榜。

使用私人 AI 启用企业部署

最近，我们见证了一系列令人印象深刻的开源模型发布，这些模型严重挑战了封闭模型在质量上的垄断地位。

行业分析师也注意到了这一点。就在上个月，CB Insights 的研究人员发布的报告中记录了开源模型正在迅速接近封闭模型的质量。

这种模式为企业采用 AI 开启了新的潜力，之前由于封闭模型在处理数据安全和隐私方面的顾虑，企业一直难以广泛采用 AI，特别是处理个人可识别信息 (PII)、专有研究或高度监管的数据。

Jamba 1.6 现在不仅在质量上领先于开源模型市场，而且在保持卓越速度的同时实现了这一点。正如企业不应在数据隐私和质量之间做出取舍，质量和延迟也不应成为权衡的对象。

LongBench 和 ArenaHard 的评分来自这些模型的官方排名。对于那些超出模型上下文窗口大小的例子，进行了相应的评分调整。因为 Mistral Large 在 vLLM 部署中只能处理 32K 的上下文限制，所以是通过它的官方 API 进行评估的。

无与伦比的 RAG 和长上下文性能

除了整体模型质量出色之外，Jamba 在处理长上下文用例方面也表现卓越。它基于混合 SSM-Transformer 架构，提供市场领先的 256K 上下文窗口，Jamba 在 RAG 和长上下文问答基准测试中超越了同行。当其他开源模型在上下文长度增加时表现衰退时，Jamba 仍然能够准确地检索、综合和推理大量数据集而不会出现性能下降。

在企业中利用长上下文窗口的潜在应用非常明确：

• 一支从事新药研发的团队需要 AI 检索和分析多年的研究数据，而不出现“幻觉”（错误生成内容）。
• 一个审查并购文件的法律团队需要 AI 提取关键条款，引用来源，并总结数千页的发现。
• 一位建立风险模型的金融分析师需要 AI 推理数百份财报、法规和市场趋势，而不会丢失细节。

我们的客户如何使用 Jamba

Jamba 1.6 专为我们企业客户最关心的实际工作流程而设计——处理大量数据，检索并综合长篇文档，确保输出是准确且有效的。Jamba 1.6 已经证明了其能够以低延迟处理复杂企业 AI 工作负载的能力：

• Fnac，一家使用 Jamba 进行数据分类的跨国零售连锁店，通过使用 Jamba 1.6 Mini，将输出质量提高了 26%，从而能够从 Jamba 1.5 Large 转换到 Jamba 1.6 Mini——在保持高质量的同时，延迟减少了约 40%。
• 在基于事实的问答中，Jamba 1.6 正在为在线教育提供商 Educa Edtech 提供个性化聊天机器人，其检索准确率超过 90%，引用的可靠性高，确保他们的学习者社区获得可信的答案。
• 一家数字银行的先驱，通过 Jamba Mini 1.6 改进了一个为客户问题提供基于事实答案的助手，在其内部测试中，Jamba Mini 1.6 的精准度比前代高出 21%，并且质量与 OpenAI 的 GPT-4o 相匹配。
• 在文本生成方面，Jamba 正在将电子商务库存数据库转化为结构化的高质量产品描述，减少了人工工作量，并在大规模操作中提高了一致性。

所有评分均由 Artificial Analysis 报告。

使用 Jamba 扩展更多企业工作流程

随着这一版本的发布，我们还推出了全新的 Batch API，为处理大量请求提供了高效的解决方案。与逐个请求立即响应不同，批处理可以一次提交多个请求，进行异步处理。

与大多数批处理解决方案不同，AI21 的 Batch API 专为紧急时间表中的高峰数据量设计。在与跨国零售商 Fnac 的测试中，我们发现使用 Batch API 将数万请求的等待时间从数小时缩短到不到一小时，极大加快了他们审核并批准新产品描述的速度。结合模型的质量、速度和数据安全性，企业已经展示了 Jamba 为他们带来的实际价值。

开始与 Jamba 进行实验和构建

今天就开始与 Jamba 进行实验和构建吧。在 AI21 Studio 与 Jamba 互动，或直接从 Hugging Face 下载模型权重。如果你有问题，可以加入我们的 Discord 社区或在 Hugging Face 上发起讨论。

文章来自 “ AI21Labs官网 “