详情

Gateway 使用统一的 API 简化了对 200+ 开源和闭源模型的请求。它还支持生产就绪，支持缓存、回退、重试、超时、负载均衡，并且可以进行边缘部署以实现最小的延迟。

• 速度极快（9.9 倍），占用空间极小（安装后约 45kb）
• 在多个模型、提供商和密钥之间实现负载平衡
• 回退功能确保您的应用保持弹性
• 默认情况下自动重试指数级回退
• 可配置请求超时，轻松处理无响应的 LLM 请求
• 多模式支持视觉、TTS、STT、图像生成和更多模式之间的路由选择
• 根据需要插入中间件
• 经过超过 300B 令牌的实战测试
• 企业就绪，可增强安全性、扩展性和自定义部署