系统架构

LLMPod 将管理资源和配置与承接推理请求分成两条路径。部署模型时管理员主要使用控制面；应用调用模型时直接访问推理网关。它们可由同一镜像的不同角色运行，但端口、流量和故障排查入口不同。

组件	主要职责	安装脚本默认值
控制面 webserver	控制台、/api/v1 管理 API、Manager 节点连接、部署编排	WEBSERVER_PORT=8080
推理网关 proxyserver	/v1/* 鉴权、模型选路、上游转发、计量	PROXY_PORT=8090
计算节点 node	上报资源、接收任务、运行本地模型的推理容器	由管理员引导到目标机器
PostgreSQL	平台资源、租户、模型、路由和持久记录	内部服务
Redis	运行期状态、限流等协调数据	内部服务

控制路径

管理员在控制台创建 Docker 集群、注册节点、添加模型并创建部署。Node 通过 Manager 的 /ws/node 连接控制面，报告资源与执行结果。管理员也可以跳过本地模型部署，直接登记外部推理端点。模型发布把可用端点与一个对外模型名绑定。

请求路径

应用携带 API Key 请求推理网关。网关检查 Key、租户、模型可见性和用量限制，按发布路由挑选同协议的可用端点，再把请求转发到本地部署或外部上游。调用统计和日志帮助追踪请求；在准入阶段被拒绝的请求不会写推理调用日志。详细对象关系见模型服务的组成。

Compose 中控制面与网关共用应用数据卷；PostgreSQL 和 Redis 默认只在内部网络提供服务。跨主机节点、网关对外地址、模型目录挂载等配置见网络与部署配置。