跳到主要内容

LLMPod 文档

从模型文件或已有推理服务出发,把算力、端点与路由组织成可供团队调用的 API。选择与你当前角色最接近的路径开始。

从模型到一次成功调用​

模型来源经过本地部署或外部端点、模型发布,最后由应用使用 API Key 调用

添加模型登记模型文件与元数据;部署或外部端点提供实际推理服务;发布路由决定调用方看到的模型名称及流量去向。三者是不同步骤,详见模型服务的组成。

常用入口​