LLMPod 文档
从模型文件或已有推理服务出发,把算力、端点与路 由组织成可供团队调用的 API。选择与你当前角色最接近的路径开始。
平台管理员 · 01部署自己的模型 ↗安装 Manager、添加节点与模型、创建部署,并发布第一个对外模型名。平台管理员 · 02接入已有推理服务 ↗登记上游端点并配置发布路由;这条路径无需先准备 GPU 节点。租户与开发者 · 03查找并调用模型 ↗在模型市场确认可用模型,在线调试后用 API Key 接入应用。
从模型到一次成功调用
添加模型登记模型文件与元数据;部署或外部端点提供实际推理服务;发布路由决定调用方看到的模型名称及流量去向。三者是不同步骤,详见模型服务的组成。