Files
CyberGril/experiments/hel715

HEL-715 实验复现说明

实验环境(.12,全部隔离在 /opt/hel715-verify/,未改系统 Python/CUDA/ASR/TTS):

  • LiveTalking c726943(官方 GitHub)+ MuseTalk v1.5 权重 3.8GB(LiveTalking/models/)
  • venv:/opt/hel715-verify/venv(torch 2.8.0+cu128、aiortc 1.15.0、PyAV 17.1.0)
  • 既有服务复用:CosyVoice TTS http://127.0.0.1:9880(音色 xiaoyun)、LLM http://192.168.200.11:8731(halogen-qwen3.8-flash-next)
  • 对上游的两处改动:livetalking-patch/cosyvoice.py(新增,对接 .12 CosyVoice)、livetalking-patch/enable-cosyvoice-registration.diff(base_avatar.py 启用注册)

启动

cd /opt/hel715-verify/LiveTalking
nohup /opt/hel715-verify/venv/bin/python app.py --model musetalk \
  --avatar_id hel715-talk-close --transport webrtc \
  --tts cosyvoice --REF_FILE xiaoyun \
  --TTS_SERVER http://127.0.0.1:9880 --listenport 8010 \
  > /opt/hel715-verify/livetalking.log 2>&1 &

注意:仓库内 config.yaml 的 TTS_SERVER: '' 会覆盖 argparse 默认值,必须显式传 --TTS_SERVER(本轮曾因此空跑过一次)。

已生成 avatar(LiveTalking/data/avatars/):hel715-loop-wide(loop-25fps.mp4,196 帧全景)、hel715-talk-close(talk-close.mp4,196 帧近景=loop 1.75× 裁切)、hel715-return(return-25fps.mp4,77 帧独立源)。

测试脚本

  • scripts/e2e_client.py:aiortc 收流客户端,四句时间线(含打断),产出 mp4+stats.json+events.json+contact-sheet.png。在 .12 上运行:E2E_OUT=... venv/bin/python e2e_client.py。
  • scripts/llm_chain2.py:LLM→TTS→数字人单链路采样。
  • scripts/hel715-chain.html:日常→交谈→打断→回日常→再交谈演示页(部署于 LiveTalking web/,?auto=1 自动演示;依赖 web/hel715-daily.webm)。
  • scripts/record_chain.py:本机(192.168.200.13)Playwright+Chromium 录制上述页面,需 LD_LIBRARY_PATH 指向解包的运行库(脚本内已写死 /tmp 路径,迁移时改)。

清理

# 停实验服务(先对 PID:pgrep -af 'app.py --model musetalk')
pkill -f 'app.py --model musetalk'
# 删除整个实验目录(含 venv/权重/素材,约 12GB)
rm -rf /opt/hel715-verify
# 演示页随目录一起消失;18080/18081 旧演示与 ASR/TTS 未动

本轮收尾状态:LiveTalking 已停止;目录与权重保留供 HEL-714 复用。