43 lines
2.4 KiB
Markdown
43 lines
2.4 KiB
Markdown
# HEL-715 实验复现说明
|
||
|
||
实验环境(.12,全部隔离在 `/opt/hel715-verify/`,未改系统 Python/CUDA/ASR/TTS):
|
||
|
||
- LiveTalking c726943(官方 GitHub)+ MuseTalk v1.5 权重 3.8GB(`LiveTalking/models/`)
|
||
- venv:`/opt/hel715-verify/venv`(torch 2.8.0+cu128、aiortc 1.15.0、PyAV 17.1.0)
|
||
- 既有服务复用:CosyVoice TTS `http://127.0.0.1:9880`(音色 xiaoyun)、LLM `http://192.168.200.11:8731`(halogen-qwen3.8-flash-next)
|
||
- 对上游的两处改动:`livetalking-patch/cosyvoice.py`(新增,对接 .12 CosyVoice)、`livetalking-patch/enable-cosyvoice-registration.diff`(base_avatar.py 启用注册)
|
||
|
||
## 启动
|
||
|
||
```bash
|
||
cd /opt/hel715-verify/LiveTalking
|
||
nohup /opt/hel715-verify/venv/bin/python app.py --model musetalk \
|
||
--avatar_id hel715-talk-close --transport webrtc \
|
||
--tts cosyvoice --REF_FILE xiaoyun \
|
||
--TTS_SERVER http://127.0.0.1:9880 --listenport 8010 \
|
||
> /opt/hel715-verify/livetalking.log 2>&1 &
|
||
```
|
||
|
||
注意:仓库内 `config.yaml` 的 `TTS_SERVER: ''` 会覆盖 argparse 默认值,必须显式传 `--TTS_SERVER`(本轮曾因此空跑过一次)。
|
||
|
||
已生成 avatar(`LiveTalking/data/avatars/`):`hel715-loop-wide`(loop-25fps.mp4,196 帧全景)、`hel715-talk-close`(talk-close.mp4,196 帧近景=loop 1.75× 裁切)、`hel715-return`(return-25fps.mp4,77 帧独立源)。
|
||
|
||
## 测试脚本
|
||
|
||
- `scripts/e2e_client.py`:aiortc 收流客户端,四句时间线(含打断),产出 mp4+stats.json+events.json+contact-sheet.png。在 .12 上运行:`E2E_OUT=... venv/bin/python e2e_client.py`。
|
||
- `scripts/llm_chain2.py`:LLM→TTS→数字人单链路采样。
|
||
- `scripts/hel715-chain.html`:日常→交谈→打断→回日常→再交谈演示页(部署于 LiveTalking `web/`,`?auto=1` 自动演示;依赖 `web/hel715-daily.webm`)。
|
||
- `scripts/record_chain.py`:本机(192.168.200.13)Playwright+Chromium 录制上述页面,需 LD_LIBRARY_PATH 指向解包的运行库(脚本内已写死 /tmp 路径,迁移时改)。
|
||
|
||
## 清理
|
||
|
||
```bash
|
||
# 停实验服务(先对 PID:pgrep -af 'app.py --model musetalk')
|
||
pkill -f 'app.py --model musetalk'
|
||
# 删除整个实验目录(含 venv/权重/素材,约 12GB)
|
||
rm -rf /opt/hel715-verify
|
||
# 演示页随目录一起消失;18080/18081 旧演示与 ASR/TTS 未动
|
||
```
|
||
|
||
本轮收尾状态:LiveTalking 已停止;目录与权重保留供 HEL-714 复用。
|