Files
CyberGril/experiments/hel715/REPORT.md
T

6.4 KiB
Raw Blame History

HEL-715 技术验证报告:本地真人交谈与日常视频衔接

日期:2026-10-20 | 环境:192.168.200.12(RTX 5090D 32GB,torch 2.8.0+cu128) 候选:LiveTalking @ c726943(官方 GitHub)+ MuseTalk v1.5 + .12 既有 CosyVoice(9880) + .11 LLM(halogen-qwen3.8-flash-next)

一句话结论

有条件可用。 日常↔交谈切换、打断、25fps 连续口型视频、素材流水线复用均实测通过;条件是接受 ①发话到出声约 4.55.5s 的起步延迟,②TTS 流式按标点分句带来的句内 0.41.1s 停顿,③交谈驱动只改口型(表情/目光来自底板视频)。三项都需要在首版验收时向用户如实展示,其中 ①② 可在施工阶段继续压。

四个问题的实测回答

1. 主候选 LiveTalking+MuseTalk 实际跑通了吗?——跑通

  • 安装:官方仓库 clone 至 /opt/hel715-verify/LiveTalking,独立 venv(不改系统 Python/CUDA/ASR/TTS);权重 musetalkV15/face-parse/sd-vae/whisper 共约 3.8GB,已就位。
  • 适配:仅两处改动(见 livetalking-patch/):tts/cosyvoice.py 新增(对接 .12 既有 CosyVoice 的 POST /tts 24kHz PCM 流)+ avatars/base_avatar.py 启用该 TTS 注册。其余代码未动。
  • 能力边界(CG-028 相关,明确来源):
    • 口型:实时音频驱动(whisper 特征→unet 逐帧生成下半脸)——实测(口部区差分:静息中位 0.74 vs 说话峰值 13~14)。
    • 表情/目光/头姿/身体:全部来自底板视频循环(预处理时逐帧 landmark+face-parse 固化),不是实时生成——来源:代码结构+录像复核。交谈底板选片时必须挑"目视镜头、微动作"段。
    • 不要求也不提供逐句新肩部手势;与 CG-027/028 的预期一致,未发现必须换 Ditto 等替代的实证。

2. 同一人物实时交谈可否成立?——可以,起步延迟与句内停顿需接受

实测(aiortc 客户端走真实 WebRTC 通道,含网络传输;e2e-session.mp4 / stats.json):

指标 实测值
连接→首帧视频 3.6s(含 ICE 协商 1.7s)
文本→首次出声 4.6~5.5s(CosyVoice 首包 3.4s + LiveTalking 音频缓冲约 1.2s)
连续帧率 25.05fps 恒定(27s 全程,说话与静息一致)
音画同步 容器内音视频齐备;口型动作较出声晚约 0.5~1.3s(MuseTalk 音频前瞻缓冲所致)。自动互相关度量噪声大,最终以录像人工复核为准
句内停顿 TTS 按标点分句合成,句内间隙 0.45~1.05s("抱歉"与"你刚想说什么"之间 0.66s)——CosyVoice 流式模式固有,非口型管线问题
打断→静音 0.35s(interrupt_talk 后队列即清)
打断后再开口 正常(S3/S4 均正常播出)
峰值资源 总显存 18.9GB(基线 5.8GB + CosyVoice 4.2GB + LiveTalking 空载 11.2GB/说话峰值约 13.1GB);GPU 利用率瞬时 100% 但帧率不跌
失败行为 本轮未触发服务崩溃;语音名不存在时 TTS 适配层回退 default 音色

LLM 链路(llm-chain.mp4):.11 真实模型 halogen-qwen3.8-flash-next 回复 1.33s → 递给数字人出声共 4.63s,全程录音正常。

3. 日常→交谈→打断→回日常衔接?——信号级链路实测通过

两份证据:

  • 浏览器真实链路(chain/page@*.webm,Playwright+Chromium 走 LAN WebRTC):日常成品视频循环 → 切交谈视图(预连接流,切换 03ms)→ 发文本 → 语音进行中注入 interrupt_talk(HTTP 25ms)→ 立即切回日常(不等她说完、不等日常片尾)→ 再次进入交谈并发第二句 → 回日常。全程 33.5s,页面零 JS 错误。注:Playwright 录屏不含音轨,音频证据见下条。
  • 媒体级连续音画(e2e-session.mp4):同一 WebRTC 通道收到的连续音视频原样落盘,覆盖 静息→说话→打断→静默→再说话 全程,有声有画。

边界说明:麦克风/VAD 未接入,打断由信号注入触发,只是信号级验证,不冒充自然语音抢话已通过。转场为视图级切换(同人物同房间同服装的近景底板 vs 日常全景),自然转场(如淡入淡出)属施工项,不计入本轮结论。

4. 素材能否持续制作/替换/维护?——流水线已验证可复用

  • 同一流水线已跑通 3 份素材、3 个 avatar:loop 全景(196 帧)、面部近景(196 帧,经核实为 loop 素材 1.75× 放大裁切,同人物同房间同服装)、回程片段(77 帧,独立源文件)。
  • 新素材仅需:转码 25fps mp4 → python -m avatars.musetalk.genavatar --file X --avatar_id Y,47~60s/份(GPU),零代码改动、目录隔离、无硬编码人脸。
  • 成本实测:交谈底板若由 Wan2.2 生成约 57s/3s 片段(HEL-712 实测);由既有成品裁切仅需秒级(PyAV)。详见 MATERIAL-SPEC.md。
  • 限制:本轮三份素材同属一个人物;跨人物泛化未实测(离线环境无第二真人素材可用),算法层面为通用 landmark/face-parse 管线,无按脸硬编码逻辑。

CG-029/028 能力矩阵(来源/实测/未测)

能力 状态 依据
成品日常视频按时段/活动选片播放 实测(浏览器循环播放) chain webm
同人物近景实时口型交谈 实测 e2e-session.mp4 / llm-chain.mp4
口型由音频实时驱动 实测 口部差分 15~19 倍
表情/目光实时生成 未测(来源=底板视频) 代码结构
语音打断(信号级) 实测 0.35s 停止 events.json
自然语音抢话(VAD) 未测 麦克风未接
日常↔交谈视图切换 实测 0~3ms chain webm + 日志
LLM→TTS→口型全链 实测 llm-chain.mp4
素材替换保留人格记忆 设计已验证路径(素材目录隔离) genavatar 复用

风险与建议(给总管的决策输入)

  1. 起步延迟 4.5~5.5s 是当前体验最大短板:可在施工时用"思考中"微动作/状态提示掩盖,或后续换更低首包延迟的 TTS 配置(CosyVoice 首包 3.4s 占大头)。无已确认延迟门槛,不编造 SLA;建议向用户展示实测录像后再定验收线。
  2. 句内停顿可通过 TTS 侧整句缓冲或标点预处理缓解,代价是首包更慢——二者权衡留施工阶段。
  3. LiveTalking 空载即占 11.2GB 显存,与 ComfyUI 重生成任务并存时需调度(先交谈后生成的队列约定)。