模型
一键启动 / 停止本机的推理服务
对话
与正在运行的模型直接对话 — 无需任何 API key
选择左侧正在运行的模型,开始对话
准备中
0 tokens · 0.0 tok/s
监控
系统实时状态 · 每 2 秒刷新
统一内存
—
CPU
—
网络
—
GPU
—
内存使用
已用CPU 占用
总体网络吞吐
下行 上行容器
设置
外观、访问、公网隧道与 API 密钥
外观
界面主题
两套完整材质会记住你的选择。
启动
离线启动(推荐)
权重已在本地时,禁止容器启动阶段访问 huggingface.co——否则断网时每个配置文件要白等几分钟重试。首次下载新的量化版本前请临时关闭。
访问地址
本机局域网—
公网域名—
管理·局域网—
管理·公网—
管理入口(本页)用管理员密钥登录;模型 API 用各模型的 key。公网管理走 VPS 的 8443 端口。
公网隧道
SSH 反向隧道 → VPS
把本机 :8888 映射到 VPS 的 nginx(https 域名)。断线每 5 秒自动重连。
—
模型 API 密钥
给推理服务自身设 key:SGLang 通过启动参数 --api-key,两个 vLLM 项目写入各自 .env 的 API_KEY(下次启动生效)。留空 = 不设防(仅建议本机访问时)。
推理请求默认值
经 :7789 推理代理注入:客户端请求未携带对应字段时才注入,显式传参以客户端为准。GGUF 与 DeepSeek 的思考/强度是服务端启动默认,在各自模型卡上设置。直连 :8888/:1234 不经过代理,不吃这些默认值。
管理员密钥
更新后其他已登录的会话会全部失效
用户账户
普通用户只能看只读模型状态并使用内置对话;每个账号可单独禁用、重置密码、撤销会话或删除。
—
危险区
退出后回到控制台登录页(Hero)