feat: add configurable AI model pool
This commit is contained in:
+17
-10
@@ -10,7 +10,7 @@
|
||||
|
||||
- NAS MinIO 与三个 bucket。
|
||||
- 百度 OCR。
|
||||
- 总调度、空间理解和生图模型。
|
||||
- 可扩展模型池,以及总调度、空间理解和生图路由。
|
||||
- 本地或局域网 GPU Worker。
|
||||
- Langfuse 与 Sentry。
|
||||
|
||||
@@ -20,24 +20,31 @@
|
||||
|
||||
1. 基础运行:PostgreSQL、Redis、配置加密。
|
||||
2. 文件存储:MinIO 地址、服务账号和三个 bucket。
|
||||
3. AI 模型:统一 API、总调度模型、空间理解模型和生图模型。
|
||||
3. AI 模型:至少一个大语言模型、空间理解候选和生图候选,并完成路由选择。
|
||||
|
||||
必备分类既要填写完整,也要通过对应连接测试。未完成时,上传和工作流命令接口返回 `SETTINGS_INCOMPLETE`,前端“开始设计”按钮保持锁定。
|
||||
|
||||
百度 OCR、GPU、Langfuse 和 Sentry 是条件必填:关闭时不影响工作流;开启后应填写完整并测试。
|
||||
|
||||
## 聚合引擎 AIGC
|
||||
## 模型池与路由
|
||||
|
||||
聚合引擎按 OpenAI 兼容网关接入,设置项包括:
|
||||
模型池分为大语言模型和多模态模型。每个模型条目独立保存以下内容:
|
||||
|
||||
- API Base URL。
|
||||
- API Key。
|
||||
- 总调度模型 ID。
|
||||
- 空间理解模型 ID。
|
||||
- 默认生图模型 ID,预设为 `gpt-image-2`。
|
||||
- 显示名称与平台模型 ID。
|
||||
- API 来源、Base URL 和 API Key。
|
||||
- 空间理解、图像生成、局部编辑等能力标签。
|
||||
- 高级路径:`/models`、`/chat/completions`、`/images/generations`、`/images/edits`。
|
||||
|
||||
平台的公开文档入口在未登录状态下会跳转首页,因此 Base URL 不在代码中猜测或写死。用户从登录后的开发者文档复制一次即可,随后“验证 API 与模型”会调用模型列表接口,检查 Key 和三个模型名。
|
||||
同一个聚合账号可以添加多个模型,也可以把不同平台的模型放进同一个池。每个模型都有单独的测试按钮。测试会访问该条目的模型列表接口,并明确显示是哪个模型 ID、凭证或接口路径出错,不再返回“部分模型不可用”这类无法定位的信息。
|
||||
|
||||
总调度模型必须由用户从大语言模型池中指定。空间理解和生图各自支持两种方式:
|
||||
|
||||
- 总调度自动选择:只在已启用且测试通过的能力候选中路由。
|
||||
- 用户手动指定:固定使用选中的多模态模型。
|
||||
|
||||
旧版统一 API 配置在第一次读取时会自动迁移成三个模型池条目。出于安全考虑,迁移后的模型必须逐个重新测试。
|
||||
|
||||
聚合平台的 Base URL 不在代码中猜测或写死,仍需从登录后的开发者文档复制。
|
||||
|
||||
## 为什么本地 GPU 仍然需要 Worker
|
||||
|
||||
|
||||
Reference in New Issue
Block a user