AI Gateway 是一个轻量级、高性能的开源 API 网关，专为 AI 模型（如 OpenAI、Anthropic、Mistral 等）设计，提供负载均衡、自动重试、缓存和多模态支持等功能。项目旨在提供快速、可靠和安全的路由到1600多个模型，无论是文本还是多模态能力，都能轻松集成，让开发者能够迅速构建和部署AI应用。项目遵守MIT开源协议。

主要特色：

  • 极快的响应速度：低于1毫秒的延迟，占用空间仅为122kb。
  • 经过实战考验：每天处理超过100亿个令牌。
  • 企业级支持：增强的安全性、可扩展性和自定义部署能力。

该平台支持快速集成任何大型语言模型(LLM)，并通过自动重试和回退机制防止服务中断。它还提供了负载均衡和条件路由功能，以扩展AI应用的规模，并通过“护栏”保护AI部署的安全。此外，AI Gateway 还支持多模态能力，超越文本处理，探索代理工作流集成，为开发者提供了广泛的应用场景。

部署AI Gateway 极为简单，只需使用Node.js和npm即可本地运行。支持多种编程语言和库，如JS、Python、REST、OpenAI SDKs、Langchain、LlamaIndex、Autogen和CrewAI等，使得开发者可以轻松地将其集成到现有的项目中。通过Gateway Console，开发者可以在一个地方查看所有本地日志，进一步简化了调试和监控过程。

此外，AI Gateway 还提供了高级配置选项，允许开发者创建路由规则、增加可靠性和设置护栏。这些配置选项包括自动重试、输出护栏、请求超时管理和多模态LLM网关等，确保了应用的高可用性和性能优化。

对于企业用户，AI Gateway 提供了组织管理、治理、安全等高级功能，以及SOC2、HIPAA、GDPR和CCPA合规性，确保数据安全和隐私。它还支持智能缓存、使用分析、提供商优化等功能，帮助企业更有效地利用AI资源。

源代码：https://github.com/Portkey-AI/gateway