LiteLLM Documentation

网站简介

LiteLLM 是最广泛使用的开源 AI 网关，为开发者提供了一个统一的 API，可以连接 100+ 的 LLM 提供商以及 MCP 工具和 A2A 代理。它同时提供 Python SDK 和自托管网关，支持密钥管理、预算控制、请求成本记录等功能，帮助团队高效地管理和调用 AI 模型。

主要功能 / 内容

Python SDK

使用一个 completion() 函数即可调用 100+ 个 LLM 提供商，参数与 OpenAI、Anthropic、Bedrock 等保持一致，返回结果统一为 OpenAI 格式。只需替换模型名称字符串即可切换模型，并支持流式输出、重试、回退和每次调用的成本记录。示例代码：

from litellm import completion

messages = [
    {"role": "user", "content": "Hello"}
]
completion(model="openai/gpt-6.1-sol", messages=messages)
completion(model="anthropic/claude-sonnet-5", messages=messages)

AI Gateway

提供一个统一的 API 端点，所有应用以 OpenAI 格式发送请求。每个应用或用户拥有独立的虚拟密钥，可设置预算和速率限制。网关记录每个请求的详细信息及成本，提供商的密钥安全地保存在网关中。调用示例：

curl http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-<virtual-key>" \
  -H "Content-Type: application/json" \
  -d '{"model": "gpt-6.1-sol", "messages": [{"role": "user", "content": "Hello"}]}'

MCP Gateway

将多个 MCP 服务器接入网关后，所有应用可以从一个端点访问这些工具。管理员可以按密钥和团队控制每个服务器的访问权限。例如：搜索团队有权限，支持团队有权限，而 GitHub 不允许访问。

Agent Gateway

支持 A2A（Agent-to-Agent）代理调用。在网关上注册代理后，每次调用都会使用虚拟密钥，并在日志中记录成本和访问权限。只有被选中的团队可以调用这些代理。

Auto Router（附加组件）

根据请求的难度自动将任务路由到成本最低且能够完成的模型。简单任务（如“修正这句话中的错别字”）会分配给便宜的小模型，复杂任务（如“规划零停机迁移”）则分配给前沿模型。

LiteAgents（预览版）

允许开发者在不改变代理代码的前提下，通过更换一个参数在多个代理框架之间切换，例如 Deep Agents、Pydantic AI、Claude Agent SDK、Codex 和 OpenCode。已有的工具和 MCP 连接保持不变。

lite CLI

通过命令行登录网关，并运行 Claude Code 或 Codex。用户无需使用自己的提供商 API 密钥，所有预算、日志和防护措施均由网关统一管理。

LiteAdmin MCP

让开发者通过自然语言控制网关。例如告诉 Claude 或 Codex：“为搜索团队创建一个每月预算 $200 的密钥”，代理会自动完成操作。

企业版功能

提供单点登录（SSO）、SCIM、审计日志以及每个团队的管理角色。企业版还支持多区域部署，并得到 LiteLLM 工程师的支持。

特点说明

• 开源且广泛使用：作为最受欢迎的开源 AI 网关之一，拥有活跃的社区和持续更新。
• 统一 API：兼容 OpenAI 格式，降低了集成成本，开发者可以轻松切换不同模型。
• 成本控制：通过密钥和预算管理，精细控制每个团队或用户的花费，并记录每次调用的费用。
• 可观测性：提供日志、支出追踪和回调机制，方便监控和调试。
• 工具与代理支持：不仅限于 LLM，还支持 MCP 工具和 A2A 代理，为构建复杂的 AI 应用提供基础。
• 灵活部署：可以自托管，也可以与现有编码代理（如 Claude Code、Codex）集成。

此外，站点还提供模型目录、定价及上下文窗口查询，以及 AI 提供商和集成指南，方便开发者快速上手和部署。