跳到主要内容

网络与部署配置

官方安装脚本会在安装目录(默认 /opt/llmpod)生成 docker-compose.yml 和 .env。Manager 栈包含控制面 webserver、推理网关 proxyserver、PostgreSQL 与 Redis。请先完成安装与初始化,再按部署拓扑修改安装目录中的 .env。

端口与访问方向​

配置示例默认值谁需要访问
WEBSERVER_PORT8080管理员、租户浏览器与远端 Node;管理 API 和 /ws/node 共用
PROXY_PORT8090在线调试和调用推理 API 的应用
HOST_IP0.0.0.0宿主机监听绑定地址

Compose 把 WEBSERVER_PORT 和 PROXY_PORT 同时用作容器内监听端口与宿主机映射端口。修改后需以新端口访问,并检查主机防火墙、云安全组和反向代理。PostgreSQL 与 Redis 在模板中没有对宿主机开放端口,通常无需放行。

远端节点回连​

跨主机安装 Node 时,把 LLMPOD_NODE_MANAGER_IP 设置为节点机器可访问的 Manager 地址。直连时填写 IP 或域名;若通过 TLS 反向代理,也可填写完整的 wss:// 地址,并确保代理转发 WebSocket 的 /ws/node 和引导所需 HTTP 请求。留空会回落到 localhost,远端 Node 会连向自己。

LLMPOD_NODE_MANAGER_IP_LAN 可填写逗号分隔的内网候选地址,节点引导时会优先探测可达的内网地址。节点互联 IP 则是注册节点时单独指定的节点自身地址,用于节点间或部署容器通信;它与 Manager 地址不能互相替代。详见添加计算节点。

网关宣告地址与模型目录​

LLMPOD_PROXY_ADVERTISE_URL 用于固定推理网关的对外完整 URL,例如反向代理后的专用域名;留空时由访问请求的 Host 与 PROXY_PORT 推导。客户端仍须访问实际可达的地址。

MODEL_HOST_DIR 是 Manager 宿主机上的模型仓库路径,Compose 将它挂载为 webserver 容器内的 /data/models。在控制台选择本机路径时填写容器内路径。Node 机器上的模型目录与 Manager 目录是不同的部署位置,需通过引导和模型下发流程保持可访问。

凭据和管理 API 文档​

首次安装时,脚本会让管理员确认初始用户名和密码;密码可使用自动生成值。安装完成会显示这组凭据,且仅在首次建库时生效。建库后再修改 .env 中的 LLMPOD_ADMIN_USER 和 LLMPOD_ADMIN_PASSWORD 不会重置账号。LLMPOD_DOCS_ENABLED=true 才开放控制面的 /docs、/redoc 和 /openapi.json;生产环境按团队访问策略决定是否开放。PostgreSQL、Redis 的密码也保存在安装目录的 .env,备份和共享配置时应保护该文件。