Cloudflare最近宣布AI Gateway已普遍可用。AI Gateway作为管理和扩展生成式AI工作负载的统一接口，让开发人员能够监控和控制AI应用程序。

Cloudflare 最近宣布 AI Gateway 已普遍可用。AI Gateway 作为管理和扩展生成式 AI 工作负载的统一接口，让开发人员能够监控和控制 AI 应用程序。

AI Gateway 是一个 AIOps 平台，为管理和扩展生成式 AI 工作负载提供了统一的接口。它作为服务和推理提供者之间的代理，无论模型位于何处。

来源：Cloudflare 博客

Cloudflare 产品经理 Kathy Liao、高级产品经理 Michelle Chen 和 产品总监 Phil Wittig 在博客中写道：

我们与许多构建 AI 应用程序的开发人员和组织进行了交谈，有一件事很明确：他们希望获得更多关于他们的 AI 的可观察性、控制性和工具化。这些是许多人工智能提供商所缺乏的东西，因为他们更专注于模型开发而不是平台特性。 

将应用程序连接到 AI Gateway 使其能够通过分析和日志来监控用户的交互，并提供缓存、速率限制、请求重试和模型回退等扩展功能。Liao、Chen 和 Wittig 补充道：

只需要一行代码，你就可以解锁一组针对性能、安全性、可靠性和可观察性的强大功能，可以将其视为你的 AI 工作负载的控制面板。 

除了 Cloudflare Workers AI 外，新的 AI Gateway 还支持 多个第三方提供商，包括 OpenAI、Google Vertex AI、Azure OpenAI、HuggingFace、Amazon Bedrock 和 Anthropic。Eesel 的联合创始人 Amogh Sarda 在 评论中说：

我很想看到它的实际运行情况。我相信将会有一些有趣的方式来测试它的敏感数据检测能力。 

AI Gateway 仪表盘可以显示请求数量、令牌和运行应用程序相关成本等指标。它还可以跟踪单个请求，提供有关提示词、响应、提供者、时间戳以及请求是否成功的信息。

来源：Cloudflare 博客 

AI Gateway 并不是 Cloudflare 在 AI 领域发布的唯一一个 公告，它还提供了面向 AI 的防火墙 预览和普遍可用的 Workers AI，其中包括几项旨在简化开发人员构建和部署 AI 应用程序的功能。分析师和顾问 Janakiram MSV 在一篇文章中写道：

Cloudflare 通过不断改进其边缘网络的功能来挑战亚马逊云科技 (AWS)。亚马逊的无服务器平台 AWS Lambda 尚未支持基于 GPU 的模型推理，它的负载均衡器和 API 网关也尚未针对 AI 推理端点做出更新。 

Credexium 创始人 Brendan Skousen 在评论中写道：

我最近开发的 AI 工具集成了 Cloudflare 的服务。我会用 Cloudflare 替换特定于平台的 API 端点，无论是我自己的 API 还是使用像 AI Gateway 或 Web3 Gateway 这样的东西。为什么呢？因为它几乎是免费的，并且包含了安全的分析等功能。在构建 LLM 应用程序时，实时日志记录、缓存和速率限制是必不可少的功能。 

AI Gateway 当前的核心功能在所有的 Cloudflare 计划中都是免费的，但未来的高级功能，如持久日志记录和秘钥管理将需要付费。

查看英文原文：

https://www.infoq.com/news/2024/06/cloudflare-ai-gateway/

本文来自微信公众号“InfoQ”，作者：Renato Losio