Files
CyberGril/experiments/hel715/MATERIAL-SPEC.md
T

4.6 KiB
Raw Blame History

HEL-715 素材包规范与施工方案(可交施工员)

依据 CG-029(日常用成品视频、交谈用同一人物实时口型)、CG-005/006(换外观保留人格/记忆/关系)、CG-030(首批素材小队制作)。原则:单图不自动生成整套;每份素材可独立替换、可校验、可回滚。

1. 素材包目录规范

assets/personas/<persona>/            # persona=外观方案,如 wanwan-v2;换外观=新目录
  manifest.json                       # 见下
  daily/                              # 日常成品视频(CG-029 主路线)
    <scene-id>.mp4                    # H.264 25fps ≥6s 可无缝循环;按时段/天气/活动命名
  talk/                               # 交谈底板(近景,同房间同脸同服装)
    <talk-id>.mp4                     # H.264 25fps 5~15s,人物目视镜头、口部微闭或自然微动
  voice/                              # CosyVoice 音色登记名(.12 voices.json 中的 voice 名)
  ref/                                # 定妆照/场景照 PNG(身份对照用)

manifest.json 必填字段:persona_id、identity_ref(ref/ 内主定妆图)、daily_clips[{id, timeofday, weather, activity, loop_points}]、talk_clips[{id, avatar_id, framing}]、created_by、created_at、pipeline_version(如 hel715-v1)。

2. 身份/服装/光线一致性标记(导入校验项)

  • 同一 persona 内所有 daily/talk 片段必须与 identity_ref 同人物、同发型、同套服装;换服装=新 persona 目录。
  • 每段导入时人工对照 ref 图打勾(首版人工,不做自动人脸embedding校验——留待后续)。
  • 光线:同一 persona 的交谈底板光线需与常用日常场景一致(近景底板从日常成品裁切放大可天然保证,如本轮 talk-close = loop 1.75× 裁切)。

3. 可切节点与缺素材回退

  • 日常片循环点:loop_points 记录首尾衔接帧(硬循环跳变处需美术确认或选首尾近同帧的段)。
  • 交谈进入点:任意时刻可切(预连接流,实测切换 0~3ms);退出点同。
  • 缺素材回退顺序:请求场景无 daily 片 → 用同 persona 默认 daily 片;无 talk 底板 → 禁用交谈入口并提示,不得用其他人物素材顶替;TTS 失败 → 显示重试按钮,不静默。

4. 导入与回滚流程(本轮实测命令)

# 1) 预处理:任意源 → H.264 25fps(示例见 scripts/,PyAV,秒级)
# 2) 生成交谈 avatar(47~60s GPU/份,独立目录,无硬编码):
cd /opt/hel715-verify/LiveTalking
venv/bin/python -m avatars.musetalk.genavatar --file <talk-clip.mp4> --avatar_id <persona>-<talk-id>
# 3) 校验:data/avatars/<id>/ 含 avator_info.json/coords.pkl/latents.pt/mask;avator_info.json 的 video_path 指向素材包内文件
# 4) 服务挂载:app.py --avatar_id <id>(或 custom_config 多 avatar 预载)

回滚:素材包按目录整体保留旧版本(<persona>.bak-<date>),avatar 目录同理;manifest 记录版本,恢复=改回引用。模型权重不入 Git,assets 二进制走附件/对象存储,仓库只放 manifest 与脚本。

5. 换一套外观的实测成本(CG-005/006 输入)

项 实测耗时 说明
交谈底板由既有成品裁切 <1min(PyAV 转码)+ 47~60s genavatar 本轮 talk-close 路线,推荐
交谈底板由 Wan2.2 全新生成 57s/3s 片段 + 挑选重试(35 倍余量) HEL-712 实测单次推理
日常成品视频生成 同上量级/段 小队批量制作
照片需求 定妆/场景各 ≥1 张 用于身份对照与 i2v 起点
预处理 自动,无人工参数 bbox_shift=0 默认可用

6. 首版最小验收矩阵(交谈链路)

项 通过标准
日常循环播放 ≥3 周期无肉眼跳变(或美术确认衔接)
进交谈 切换 ≤200ms,同人物同服装目视确认
口型 说话段口部动作肉眼可辨,静息段无明显异常
打断 interrupt 后 ≤1s 静音,不等播完
再开口 打断后可立即再次发话
回日常 切回 ≤200ms,日常从暂停点续播
持续 单次会话 ≥10 分钟不崩、显存不涨
失败路径 TTS 断连时有可见错误提示,可恢复

7. 职责划分(衔接 HEL-714 施工)

  • 客户端(web):日常选片/循环、交谈视图挂载(预连接 WebRTC)、打断信号(先按钮/快捷键,VAD 后置)、失败回退 UI。
  • 服务端:LiveTalking(交谈渲染 + TTS 适配,本分支 patch);日常视频静态文件由现有 web 服务出。
  • 素材:美术/施工按第 1 节规范产出,总工验收导入。