跳到主要内容

从已有服务完成首次调用

这条路径适合已经有 OpenAI 或 Anthropic 兼容推理服务的团队。无需准备计算节点或上传权重。需要管理员账号、上游的基址和模型名，以及上游所需的 API Key。

1. 登记来源端点​

在管理员端打开 基础设施 → 发布中心 → 供应商管理 → 接入端点。选择实际协议，填写便于识别的端点名称、转发基址、上游模型名和可选的上游 Key。保存时控制面会发送一次最小对话探测；失败时先核对地址是否包含正确的版本路径、凭据是否有效，以及控制面容器是否可达上游。详见接入已有推理服务。

只有 Embeddings 或 Rerank 接口？

当前端点表单的探测固定调用对话接口。仅支持其他操作的上游需要通过管理 API 的 skip_probe 登记，并自行验证相应路径。不要用对话教程验证这类端点。

2. 发布对外模型名​

切换到 发布中心 → 模型发布，创建模型发布，输入一个应用要使用的对外模型名，例如 team-chat。展开“查看更多”，绑定刚登记的端点；如果创建时没有绑定，保存后进入发布记录的绑定管理添加它。确认发布状态为上架，端点启用且健康。上游实际接受的 served_model 可以与 team-chat 不同。

3. 创建 Key 并发送请求​

在管理员端 开发者工具 → API Key 创建平台测试 Key，或在租户端创建有权访问 team-chat 的租户 Key。先用 GET /v1/models 检查该 Key 是否能看见名称，再调用与上游相同协议的接口：

export LLMPOD_PROXY_URL='http://<网关地址>:8090'
export LLMPOD_API_KEY='<你的 API Key>'

curl -fsS "$LLMPOD_PROXY_URL/v1/models" \
  -H "Authorization: Bearer $LLMPOD_API_KEY"

curl -sS "$LLMPOD_PROXY_URL/v1/chat/completions" \
  -H "Authorization: Bearer $LLMPOD_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"team-chat","messages":[{"role":"user","content":"你好"}]}'

以上第二个命令只适用于 OpenAI 对话协议。Anthropic 服务改用Messages 示例。若 /v1/models 没有该名称，检查发布状态、租户封禁和 Key 的授权模型；若能看见但调用失败，检查端点协议与上游响应。成功后再为正式应用签发独立 Key。