10 KiB
HEL-714 候选交付记录,2026-10-20~21(上海时间)。基线 main 1e9b08a,引入已选 P10 实验提交 6a5e155,独立样机位于 samples/companion。
结论
代码、构建、基础自测和连续音画已交候选;同步与自然观感、真人自然抢话、手机真机仍未通过体验验收,禁止据此发布或宣称首版完成。后续由总管组织总工审查。当前需要继续处理的首要问题是口部起点提前的来源;没有用“思考中”掩盖,也未盲加固定延迟。
已实现:单组日常片按活动/手动天气/时段匹配及明确回退;已确认 v2 近景图生成目视微动作候选;真实正向进场/回程和第 96 帧可切点;文字与麦克风入口;FunASR→LLM→TTS→MuseTalk;停止、倾听、回日常、再进入;旧轮隔离;缺片、网络、模型与音色错误提示;素材版本/校验/回滚。
同步:实际播放证据、修正和未通过项
P10 附件 REPORT、MATERIAL-SPEC、e2e-session、chain-demo-browser、llm-chain 均经鉴权 CLI 下载,文档与远端实验分支一致。先读了原始适配器、音频特征/输出队列和录制脚本。
旧采样脚本按音频样本/视频帧数重建容器时间轴,首个视频 recorder 建立前的音频也会丢弃;因此不把原报告的“口型晚 0.5–1.3 秒”当作已标定真实浏览器偏差。本轮改为同一 Chromium 绘制的画面+同一 WebAudio 实际播放图输出,交给一个 MediaRecorder;不重新按帧数生成时间戳。
还修正了两项采集问题:Chromium 从 WebRTC video 元素建立 MediaElementSource 时分析输出全零,改用同一接收流的 MediaStreamSource,播放和录音共用输出;无 peer 时音频图缺少活动源会裁掉录像开头,增加恒为零的音频时钟后,最终录像视频从 0 秒开始、首个静音音频包 0.03 秒,完整保留日常和进场。无物理扬声器/屏幕的硬件时钟校准。
| 样本 | 口部变化起点−声音起点 | 含义 |
|---|---|---|
| P10 同驱动、原裁切底板,重新在浏览器采集 | −0.081s | 只比较起点,不能证明逐音节通过;没有复现报告的明显起步滞后 |
| 新目视底板,batch 16,第二轮完整静息段校准 | −0.635s | 口部先变化,体验验收仍有缺口 |
| 新目视底板,batch 8,单份对照 | −0.622s | 减半批量未稳定消除差异 |
| 最终包 batch 8,复测第二轮 | −0.424s | 仍有提前;不能据单个数值说同步已修好 |
这些数值来自源片相对口部残差与音频 RMS>0.015,使用录制文件本身的 PTS。新底板先按整段无语音静息片校准,再查口部残差越阈;坐标与窗口保存在脚本/CSV/JSON 中。头部微动、生成器改动嘴周和噪声会影响检测;它不是音素对齐或人工听看结论。各段不是相同台词、相同负载的受控基准,不能将上表差值解释为修复幅度。连续音画、口部帧条和原始数值一并提供。
下一条最小路径:固定同一段含清晰闭唇/开口音节的音频,在同一浏览器做原生 video 音频播放与 WebAudio 输出的 A/B,采集轨道/播放时钟并逐音节听看,区分浏览器播放图与 Whisper 前瞻/音频帧关联;确认稳定偏移来源后再改时间基准或特征对齐。当前没有证明消除了明显错位,列为体验验收阻塞。
素材和自然往返
复用已有 Wan2.2 生成工具,独立前台任务生成并停止自己的 ComfyUI PID 687113。无新模型、无新增依赖,未访问 4080。新 avatar 预处理只用原 MuseTalk 权重,新缓存独立保存在样机副本。三个任务 history 均 success,实际生成耗时约 65.5s、37.6s、34.4s。
| 素材 | 来源和长度 | 审核状态 |
|---|---|---|
| 日常 | P10 loop,196帧/25fps | 单份雨夜阅读;其他天气/活动缺片,明确回退 |
| 倾听/交谈底板 | 确认过的04近景v2中裁,81个新生成帧→127帧/25fps,5.08s | 目视、眨眼、呼吸候选;身体/目光来自片段 |
| 进场 | 日常f96→近景v2,49帧→77帧/25fps,3.08s | 真正正向生成,非淡化/倒放;仍待人工检查形变和镜头连续性 |
| 回程 | 近景v2→日常f96,独立49帧→77帧/25fps,3.08s | 与进场分开生成,取消声音不等回程 |
页面等到日常 f96 再进场;回来续该位置。连续录屏覆盖完整往返、说话中取消、再次说话和准备期取消。联系表已核对同人物/发型/服装/房间的方向一致性,不代表动态自然性通过。镜头变焦、书本/手部、坐垫形变、循环衔接必须由总工看连续片人工裁定。
canonical 素材放 assets/personas/wanwan-v2-cream-night,含 daily/talk/ref/voice/transitions 和 manifest。版本 hel714-v2,前版 hel714-v1;6 个文件逐一 SHA256。构建只在全部校验后挂载选中整包至生成目录 public/assets。v1/v2 均校验通过,篡改 talk 文件会拒绝;复核包提供 v1 完整回滚包。固定 companion_id=wanwan 与 persona/服装/版本分离;代码不写人格、八字、记忆或关系。没有跨人物、跨服装或真实天气验证。
真实链路、取消与恢复
既有 ASR 协议经只读检查:FunASR 2pass WebSocket,16k PCM,online 展示、offline 终稿,端点发送 is_speaking=false;没有通过端口猜协议。既有 LLM halogen-qwen3.8-flash-next(.11:8731)、CosyVoice xiaoyun(.12:9880)保持原服务。
每轮独立 peer。前端立即断开播放音频图、暂停/静音并丢弃视频、递增轮次;后端取消请求、关闭上游响应并精确关闭 driver peer/session,不复用旧媒体队列。最终连续录像中,两次按钮取消100ms后的1.1秒窗口内,无RMS>0.015的残留声音帧(最大0.000145/0);这只是数字播放图的观测上界。旧 ICE/offer 迟到和超时异常按轮次拒绝;取消连接时也立即唤醒等待,避免旧超时误停新轮。LLM/TTS 生成与 ICE/进场并行,ready 门控防止画面到位前发声。TTS 整句缓冲减少分句空隙,长句首声较慢;共享 TTS 内部 GPU 生成是否随客户端断开即时停止未获证明,未改共享服务。
- 原78项 Python测试通过;TypeScript严格检查+Vite构建通过;新增Python代码ruff通过。
- 5项网关检查通过:取消LLM、取消TTS、等待画面ready时取消、错误音色不回退、模型不可达。
- Chromium真实WebRTC回归通过:文字回复、说话轮取消、准备期取消、再次说话、回阅读续播、暂停、无匹配场景回退、offer失败、断网/恢复重连、缺片提示。未停止共享模型模拟故障。
- ICE/offer建立中快速取消再发送的真实浏览器回归通过,旧超时没有停止新轮。
- 合成WAV经Chromium假麦克风→Worklet/VAD→真实ASR终稿→LLM/TTS/口型通过;旧回复已出声,检测到开口后停止,新终稿“你好,请听我说一个问题。”正常产生新回复。附有声连续录像。输入不是人现场说话,不计真人自然抢话通过;长停顿可拆轮、轻声阈值和扬声器回声仍待耳机/真麦克风校准。
- 1280×800 和390×844视口可操作,无横向溢出、无pageerror。390px只是桌面Chromium视口,手机真机/iOS/Safari未测。
- 页面隐藏处理器停止音视频/麦克风并要求主动恢复;测试用合成visibilitychange,真实系统切后台/锁屏未测。
设备、延迟和长时观察
推理 .12:RTX5090D 32GB,Linux7.0.0,复用 torch2.8.0+cu128、LiveTalking c726943、MuseTalk v1.5、aiortc1.15.0、PyAV17.1.0、aiohttp3.14.5。浏览器在 .13 用已安装 Playwright/Chromium,headless;没有真实耳机/麦克风或手机接入。
测量口径:同一轮用户提交完成(或ASR终稿提交)→播放图RMS首次>0.015,包含该轮建连、等待可切点、进场和模型处理。不是模型首包、不是物理耳朵校准,也不拿不同样本相加。LLM/queued字段只是同轮分段记录。视频“首次可见”只有媒体ready标记,逐音节首个可见口型仍需同步复核,不与声音口径混用。
最终连续浏览器音画的两轮:首次从日常进入7.43s,已在近景的下一轮5.74s;本轮记录期间有长测客户端并行,不是单用户SLA。此前batch16连续618.41秒、15次真实模型回复、15次首声全部返回、无pageerror/错误状态;P50 5.62s,范围4.93~7.57s,10秒采样总显存最大20248MiB,末尾18277MiB。前段曾并行功能/麦克风自测,不能说这是纯单会话显存峰值。
batch8最终代码与新素材目录的长测 619.89 秒,15轮提交均返回实际声音,P50 5.19s、范围4.49~7.79s;无pageerror或错误状态。10秒采样总显存最大16168MiB、末尾15110MiB。前段并行了功能、麦克风和取消竞态测试。与batch16样本非严格受控对照,不能把差值当作SLA改善保证。总显存采样包含既有TTS等进程,10秒采样可能漏过瞬时峰值;不声称已测得绝对峰值或无泄漏的长期保证。
隔离与交接
代码/模型不合并、不部署、不改开机启动。现有18080/18081、8090、9880、10095等共享服务保持。临时服务使用8010/8014,仅本轮自测;启动前确认空闲,按精确PID记录和停止,不使用pkill/fuser清理。权重和用户素材保留。
分支 hel-714-daily-talk,实际草稿PR #2,目标main。通过Gitea现有SSH的AGit创建,无需Token;PR和远端分支head均已核对。交付时Multica的PR链接表仍为空,CLI只有查询功能,没有盲改标题或调用平台私有API。最终提交号随卡片评论交接。
本轮最后的网关PID706044、driver PID737284已按精确PID/命令/cwd核对后停止,先核对其不等于Multica daemon PID44286。8010/8014均无监听;18080/18081仍为原PID538167/608898,9880仍为445461,10095仍为原docker代理。停止后总显存约5701MiB。权重、生成素材和新avatar保留,未部署长期站点。故障注入的HTTPS客户端断开曾产生Python/aiohttp sendfile清理traceback,页面随后恢复且不影响长测;原始网关日志保留,没有升级共享依赖掩盖它。当前同步/自然观感与真人、真机缺口均显式列出,不能据构建和基础测试通过自审上线。