feat: add configurable AI model pool

This commit is contained in:
Codex
2026-08-01 23:11:44 +08:00
parent 020b9596dc
commit 4430149ee4
13 changed files with 1660 additions and 273 deletions
+17 -10
View File
@@ -10,7 +10,7 @@
- NAS MinIO 与三个 bucket。
- 百度 OCR。
- 总调度、空间理解和生图模型
- 可扩展模型池,以及总调度、空间理解和生图路由
- 本地或局域网 GPU Worker。
- Langfuse 与 Sentry。
@@ -20,24 +20,31 @@
1. 基础运行:PostgreSQL、Redis、配置加密。
2. 文件存储:MinIO 地址、服务账号和三个 bucket。
3. AI 模型:统一 API、总调度模型、空间理解模型和生图模型
3. AI 模型:至少一个大语言模型、空间理解候选和生图候选,并完成路由选择
必备分类既要填写完整,也要通过对应连接测试。未完成时,上传和工作流命令接口返回 `SETTINGS_INCOMPLETE`,前端“开始设计”按钮保持锁定。
百度 OCR、GPU、Langfuse 和 Sentry 是条件必填:关闭时不影响工作流;开启后应填写完整并测试。
## 聚合引擎 AIGC
## 模型池与路由
聚合引擎按 OpenAI 兼容网关接入,设置项包括
模型池分为大语言模型和多模态模型。每个模型条目独立保存以下内容
- API Base URL
- API Key。
- 总调度模型 ID
- 空间理解模型 ID。
- 默认生图模型 ID,预设为 `gpt-image-2`
- 显示名称与平台模型 ID
- API 来源、Base URL 和 API Key。
- 空间理解、图像生成、局部编辑等能力标签
- 高级路径:`/models``/chat/completions``/images/generations``/images/edits`
平台的公开文档入口在未登录状态下会跳转首页,因此 Base URL 不在代码中猜测或写死。用户从登录后的开发者文档复制一次即可,随后“验证 API 与模型”会调用模型列表接口,检查 Key 和三个模型名
同一个聚合账号可以添加多个模型,也可以把不同平台的模型放进同一个池。每个模型都有单独的测试按钮。测试会访问该条目的模型列表接口,并明确显示是哪个模型 ID、凭证或接口路径出错,不再返回“部分模型不可用”这类无法定位的信息
总调度模型必须由用户从大语言模型池中指定。空间理解和生图各自支持两种方式:
- 总调度自动选择:只在已启用且测试通过的能力候选中路由。
- 用户手动指定:固定使用选中的多模态模型。
旧版统一 API 配置在第一次读取时会自动迁移成三个模型池条目。出于安全考虑,迁移后的模型必须逐个重新测试。
聚合平台的 Base URL 不在代码中猜测或写死,仍需从登录后的开发者文档复制。
## 为什么本地 GPU 仍然需要 Worker