推理与管理 API 参考
LLMPod 有两个服务入口。推理网关（proxyserver）承接模型请求；控制面（webserver）承接控制台、管理 API 与节点连接。官方安装脚本分别使用 8090 和 8080 作为默认端口。以下路径相对各自服务根地址。
推理网关
| 方法 | 路径 | 协议 / 用途 | 流式 |
|---|---|---|---|
GET | /v1/models | 返回当前 Key 可见的已发布模型 | 否 |
POST | /v1/chat/completions | OpenAI Chat Completions | stream: true |
POST | /v1/messages | Anthropic Messages | stream: true |
POST | /v1/messages/count_tokens | Anthropic Token Count | 否 |
POST | /v1/embeddings | OpenAI Embeddings | 否 |
POST | /v1/rerank | Rerank，请求体由上游兼容接口决定 | 否 |
每个推理请求中的 model 都是模型发布页设置的对外名称。网关按路由绑定把它换成上游端点的 served_model，并按协议回写响应中的模型名。路由只选择相同协议的端点；创建端点时应确认其实际支持的接口。GET /v1/models 返回 OpenAI 风格的 { "object": "list", "data": [...] }；结果受发布状态、租户封禁与 Key 授权范围影响。
鉴权
支持 Authorization: Bearer <KEY> 或 x-api-key: <KEY>。OpenAI SDK 一般使用前者，Anthropic SDK 使用后者。Key 的模型范围、RPM/TPM、总配额、预算、过期时间和租户状态都可能影响准入。缺失或无效 Key 返回 401。
请求示例
以下示例沿用调用教程中设置的 LLMPOD_PROXY_URL 与 LLMPOD_API_KEY。
Embeddings（对外模型须绑定支持此操作的 OpenAI 兼容上游）：
curl -sS "$LLMPOD_PROXY_URL/v1/embeddings" \
-H "Authorization: Bearer $LLMPOD_API_KEY" -H 'Content-Type: application/json' \
-d '{"model":"<对外模型名称>","input":"LLMPod 文档"}'
Rerank（上游需支持 /v1/rerank；字段和返回结构以该上游为准）：
curl -sS "$LLMPOD_PROXY_URL/v1/rerank" \
-H "Authorization: Bearer $LLMPOD_API_KEY" -H 'Content-Type: application/json' \
-d '{"model":"<对外模型名称>","query":"部署步骤","documents":["添加模型","创建 API Key"]}'
Anthropic Token Count（上游需实现 /v1/messages/count_tokens）：
curl -sS "$LLMPOD_PROXY_URL/v1/messages/count_tokens" \
-H "x-api-key: $LLMPOD_API_KEY" -H 'anthropic-version: 2023-06-01' \
-H 'Content-Type: application/json' \
-d '{"model":"<对外模型名称>","messages":[{"role":"user","content":"你好"}]}'
Token Count 仍会经过鉴权、授权与限流，但不生成用量账单或调用日志；当前 Embeddings 适配器也不写调用日志。不要单凭日志缺席判断请求未到达网关。
错误状态
| 状态 | 常见原因 | 首先检查 |
|---|---|---|
400 | 请求 JSON 或 model 字段无效 | 请求体和模型名 |
401 | Key 缺失、无效、禁用或过期 | 请求头和 Key 状态 |
402 | 租户余额不足 | 租户费用中心和钱包 |
403 | Key 无权限、模型被封禁或租户禁用 | 授权模型与租户状态 |
404 | 未找到对外模型 | 发布名称及发布状态 |
429 | 限流、配额耗尽或上游限流 | Key 限额与上游容量 |
502 | 上游请求失败 | 端点地址、协议、服务日志 |
503 | 维护模式或 服务不可用 | 平台状态与网关日志 |
504 | 上游超时 | 上游耗时与网络 |
错误体随协议采用 OpenAI 或 Anthropic 风格。准入阶段拒绝的请求不写推理调用日志，可结合 HTTP 状态、网关日志与指标排查。
控制面 API
管理 REST API 路径以 /api/v1 开头，包含管理员端和租户端操作，使用对应登录会话和权限；不要拿推理 API Key 代替管理会话。运行实例开启 LLMPOD_DOCS_ENABLED=true 时，可在控制面地址访问 /docs（Swagger UI）、/redoc 和 /openapi.json。接口字段和权限以目标实例的 OpenAPI schema 为准。
健康检查：控制面与推理网关都提供 GET /health。网关的 GET /metrics 是受 Bearer token 保护的 Prometheus 指标入口，空 token 不会开放访问。