VernLLM

LLM 调用的弹性层

VernLLM 是一款轻量级的 LLM 调用弹性层，统一处理重试、超时、熔断、缓存、限流、可观测性以及跨提供商故障转移等基础设施问题，兼容 OpenAI、Anthropic、Bedrock、Gemini 等 30 多家厂商。它采用框架无关、适配器化的设计，让你能够自由切换模型提供商，同时支持 schema 校验输出、缓存合并、工具调用与流式响应。该工具致力于帮团队省去自行维护 LLM 基础设施所需的开发周期与线上事故。