从模型文件完成首次调用
这条路径适合拥有模型文件和可用计算节点的团队。需要已运行的 Manager、管理员账号,以及目标机器上的 Docker、模型所需的驱动和容器运行时。若只有外部服务地址,请改走已有服务路径。
1. 建立计算资源
在管理员端 基础设施 → 集群管理 创建 Docker 集群。进入 节点列表 → 注册节点,选择这个集群并生成引导命令,在目标机器执行。节点上线后,在详情中确认设备与内存资源;跨主机时要检查 Manager 对外地址和节点互联 IP。详见集群与添加节点。
2. 添加模型并部署
进入 基础设施 → 模型管理 → 模型管理 → 添加模型。选择 HuggingFace 仓库、Manager 容器可读的本机目录,或从浏览器上传完整文件夹;先探测模型源,再核对类别、大小与引擎可部署性。保存后只是模型记录,服务尚未启动。
切换 部署列表 → 新建部署,按向导选择模型、引擎、镜像、集群和算力,查看预检结果后提交。可在确认页填写自动发布的对外模型名;若不自动发布,待部署就绪后到 发布中心 → 模型发布 创建路由并绑定部署生成的端点。返回部署详情,等实例进入运行中。详见添加模型、模型部署与发布模型。
3. 验证服务
在发布中心确认路由已上架,记下对外模型名。用平台测试 Key 或租户 Key 请求网关 GET /v1/models,再对相应协议发起一次推理。完整命令见调用推理 API。成功标志是目标 Key 能看见对外名称,并且真实调用返回响应;“添加成功”或“部署任务已创建”都不足以代表可以对外提供服务。
若部署长时间没有就绪,从部署详情的阶段进度、容器日志和节点状态排查;若调用失败,先区分 Key 授权、发布绑定和上游容器健康。参见常见问题。