Files
CyberGril/docs/rework/hel910/window-record.md
T
施工员2号andmultica-agent 4a38106eef HEL-911: fix AgentHandoff/shutdown seams, attribute & fix the 3.66s pre-generation wait
- worker _on_item: filter conversation_item_added by the real 1.8.8 item
  discriminator (ChatMessage | AgentHandoff | _TypeDiscriminator); only
  assistant str-part body feeds the echo filter (HEL-910 AttributeError)
- bind_interrupt_channel unload: async (JobContext shutdown callbacks are
  awaited), idempotent, disconnect-safe; interrupt/receipt/budget paths
  untouched (HEL-910 TypeError await None)
- TURN_HANDLING: explicit turn_detection=None — 1.8.8 silently installs an
  English EOU TurnDetector whose unlikely verdicts on Chinese finals push
  endpointing to max_delay=6.0 (measured 3.667/3.654s HEL-910 call2; offline
  A/B on the real SDK: baseline 3.704s vs fixed 0.004s). Endpointing
  0.8/6.0 kept verbatim; no VAD/buffer_turn/semantic change
- scripts/gen_hel911_wait_repro.py: offline reproduction harness (real
  AgentSession + real silero VAD + HEL-910 wav and measured timings)
- tests: +3 real-SDK checks (11/11 on .12 agent venv; prior 8 regressions
  kept, unload call sites await the new protocol)
- hel910_call1.mjs reliability: segmented probe/recorder dumps to disk,
  timing-A trigger requires the server-committed voice turn row (not a
  we-sent-it proxy); node --check only, no real run
- window-record.md §9: appended factual corrections (companion 9 not 18,
  turn_start +6.099 not +4.10, assistant_final is the playout/receipt gate,
  post-window ListRooms token failure is not empty-room evidence); original
  record untouched
- docs/rework/hel911/summary.md + handoff-HEL-911.json; requirement checks
  pass vs origin/main and 407fc81

Co-authored-by: multica-agent <github@multica.ai>
2026-10-29 21:25:25 +08:00

14 KiB
Raw Blame History

HEL-910 · 真实通话复测窗口记录:发文字停声与新回复(2026-10-29)

授权:白栖知主卡 HEL-797 评论 01a18753-8c70-7181-9758-5bab4685ba9f「继续测」,批准 《HEL-797-交谈修复复测安排.md》(附件 01a18755-110e-71c8-b12f-10d234e28b6a)。 候选:agent/2/15e79a2458bb @ 958c6962fb1f2a4462a6df794d893aee1fcb0667(父 b8ec832;部署前 对本地 git archive 958c696 逐文件 sha256 核对服务器 /opt/cybergril-hel910/current 完全一致, 仅多一个 REVISION 标记;web/dist 含 cg.interrupt 构建产物)。需求基准 v1.12/60 项;本卡无需求变更。 窗口(UTC):布防后首个真实出站 11:53:12.96(dry 房 ASR connect)→ 封账 12:16:46 ≈ 23.6 分 (≤45 分);LLM 触线 10/10 即停。

0. 结论速览

问题(白栖知的原始问题) 结果
用户发文字时她能否停下来 ✅ 真实网页输入框发送(真 Enter 键):她在播的语音停止(浏览器能量探测 ≤~1.4s 内持续静默;本地 hush 静音在发送瞬间);第二通未取得可闻旧声期间的回放打断样本(时机错过,如实)
文字是否得到回复 ✅ 两次网页文字(T1 在播时、T2 在她想完待播时)都得到完整回复并落库(行 sent),旧轮不复活、无幽灵行;回执纪律正确(被打断轮零回执)
她多久开口 ⚠️ 实测(第二通,完整链):输入结束→识别终稿 2.43s→开始生成 +4.10s→实际第一声 +9.53s→字幕全文/落库 +12.10s。首声距输入结束 ~9.5s(>5s 关注线,主因 VAD 2.4s+整轮缓冲生成 3.4s+TTS ~0.5s;单样本如实交回)
是否读内部思考 ✅ 本轮全部真实回复(18 条 companion 行、字幕、TTS 文本)干净无思考;但真实回复未出现带 </think> 形状,故真实端点未复现"带 closer 分离";离线证据在 HEL-909
生成中被文字取消(时机A) ⛔ 未取得正面样本:call1 网页侧 U2 检测失误未触发;call2 的 API 直发文字与 worker 语音轮竞速反向(文字先到被语音轮正常取消,行 cancelled+幂等 chat.cancelled 帧);随后语音轮撞 10/10 预算硬闸诚实 φ 失败。预算封顶不补测
语音打断后声音恢复 ✅ 两次文字打断后,后续语音轮正常出声并完整回执(U2 轮、U4 轮 receipt ack)
全部上限 ✅ 全部在上限内或恰好触线即停(LLM 10/10 触线、建房 4/4 触线;tokens 30398/40000、TTS 6/20、ASR 350.63/720s、通话 2/2、窗口 23.6/45min、付费 0)
清理与恢复 ✅ 8360/8361/8363/8082/9880 全停;LiveKit 房间空;voices.json 哈希前后一致、11 支内置零变化、cg- 零残留;8300/8310/8320/8350/7880/10095 未动;GPU 回 747MiB

1. 布防(先核环境,cap=0 fail-closed 验证后才开窗)

  • 快照:端口/进程/GPU/voices.json(哈希 7b2a5021…,11 内置,cg- 0)/TTS 9880 停机 → window/pre-window.txt。
  • 隔离部署 /opt/cybergril-hel910/(新预算、新 window_id hel910-20261029-a、新隔离档案「小测」;HEL-907/879 目录只读复用):
    • 统一实例 8360/8361 同进程双入口(tools/api_ctl.sh,.venv311 只读复用,CYBERGRIL_SEMANTIC=stub、R2_ENABLED=1 与 HEL-907 一致);
    • WSS 桥 8363、专属 worker 8082(agent venv 1.8.8);etc/models.yaml 三档 reasoning: buffer_turn 与候选 config/models.yaml 逐字一致,仅预算块改为本窗批准值(dialogue 10 / total 10 / 40000 tokens,其余 0)。
  • cap=0 fail-closed 预检(models-failclosed.yaml):建档案 → persona_job=failed(background=0,预占前拒绝);POST /api/chat → 诚实 chat.error(φ 原句),request_usage/budget_total 全空(零出站);POST /api/voice/session 在 TTS 停机时 503 且不建房。之后整库丢弃换 armed。
  • 共享 TTS 9880 按快照临时恢复(health ok,14s);面板 8090 本轮未启用(零登记/零试听,不需要)。墙钟看门狗(44 分钟硬顶,精确 PID 句柄)常备;force_end.sh 覆盖异常路径。

2. 第一通:真实网页入口的文字打断(浏览器=用户,Chromium 156 headless)

  • 用户侧全部走真实页面 https://192.168.200.12:8361:自签证书按用户姿态逐 origin 过Interstitial(8361+8363);麦克风=Chromium fake capture 回放既有工程样本时刻表(tools/build_fake_wavs.py:U1 海绵宝宝@0s、U2 八戒@60s、U3 海绵宝宝@120s,240s 循环);文字=真实输入框 textarea + CDP 真实 Enter 键(非直接 POST)。页面探针(同页时钟):流能量 50ms、el.muted 转换、voice 相位、heard 文本、chat DOM、fetch 网络。截图 web/01..09。
  • T1(时机B:旧回答已生成、TTS 实际在播):她在播 R1(能量>0.02 持续、相位 speaking)时输入框发送 → 发送瞬间本地 hush 静音(同步);~1.4s 内浏览器收流能量持续归零(远端旧音轨停止;0.2s 轮询+静默窗口径,粗粒度如实);T1 获完整文字回复(行4 sent);R1 不复活(行2 已完、无后续 R1 音频、receipt 正确缺席);U2 语音轮随后正常出声(行5/6 sent,回执 ack)→ 文字打断后语音恢复正常。
  • T2(网页入口,页面相位=thinking 时发送):实际落在 U3 回复已落库、TTS 待播/刚起播的间隙(HEL-909 评审 C 形状)→ U3 回复行8 sent 且文本完整保留(音频被截,receipt 正确缺席);T2 获完整回复(行10「平静。」);U4 语音轮再次正常出声且回执 ack(行11/12)→ 恢复正常第二次确认。
  • call1 缺陷/失误(如实):① 驱动脚本对 U2 heard-final 的检测条件未命中(原因无法定证——探针原始数据随浏览器被超时杀掉丢失),时机A 网页正面样本因此未执行;② 页面语音会话结束后文件循环带来一次 U4 轮(+257s,回复在挂断后落库、未出声)多耗 1 次 LLM——测量装置的时序代价,已计入账本;③ 浏览器探针原始 JSON/webm 因驱动进程超时被杀未存盘(截图与里程碑日志保留;第二通用 python 客户端独立取证帧级时间轴)。

3. 第二通:python 客户端(同钟毫秒时间轴,window/call2.*)

  • 稍长问题(八戒)等待链(call2.json marks + frames/wav 离线对齐):回放发完 → user_final +2.43s(VAD)→ turn_start(生成开始)+4.10s → 实际第一声 +9.53s(wav 能量段起播;生成 3.44s+TTS 首包)→ assistant_final(字幕全文)+12.10s → 播放完整、回执 ack(+12.10s 处)。回复本体较短(「好,小十。去化缘…」14 字)——「稍长回复」目标部分达成,等待数字仍有效(整轮缓冲的主导项是 VAD+生成,不随回复长度显著变化)。
  • 回放打断(xiaoyun,响亮短句 rms 4970 预检):⚠️ 未取得有效样本——她的 Q1 音频在打断回放开始前 ~1.1s 已自然播完(wav 能量段 979988–982187 vs 回放起播 ~983.3k),turn_cancel(interrupted) 是其后新轮被同段回放第二次 final 打断(非停旧声)。真实取到的:VAD 中断链路真实工作(cancel=final 后 0.6s)、被打断轮回执 fail-closed 正确。HEL-907 同项亦未取得,两轮均如实不冒充。
  • 时机A(API 直发文字取消生成中的语音轮):竞速反向——文字 POST 先于 worker 语音 POST 到达(turn_start 在适配器开流时即发,早于服务端收到),文字轮被更新的语音轮正常取消(行19 cancelled + SSE 幂等 chat.cancelled 终态帧,即 HEL-908 R1 修复路径的真实表现);随后语音轮 LLM 预占撞 10/10 硬闸 → 诚实 chat.error φ 原句念出(行20 failed,无幽灵 companion 行)。正面"生成中被取消"样本未取得,预算封顶不补测。
  • 挂断:DELETE 200、房间真删、删后仅 1 帧在途。

4. 思考隔离检查(真实端点)

18 条 companion 落库行、全部字幕、tts-window.log 合成文本:零 <think>/</think>/思考前缀。 但本轮真实回复均未出现带 closer 形状(该端点隐式思考无标签时任何客户端模式都不可分离——HEL-908 已声明边界):真实端点未复现"带 </think> 分离",覆盖范围如实限定;离线 32 组形状证据见 HEL-909 附件。

5. 用量账(含失败/取消;封账后不重开)

类别 实际 上限
时窗 23.6 分(11:53:12.96→12:16:46) ≤45 分
通话 2 通(浏览器 ~4.4 分 / python ~1.5 分,串行) ≤2、各≤5 分
建房 4(dry+call1+call2+一次 SSL 证书报错未连成的空房,房间已核实删除、房间清空) ≤4(触线)
LLM 10 请求 / 30,398 tokens(触线即停):call1 6(含挂断后 U4 轮)+ call2 4 ≤10 / ≤40000
嵌入/生活/后台/语义 0(stub;persona/background=0 fail-closed 预检证实) 0
通话 TTS 6 段(达首包口径) ≤20
连续 ASR 保守=确证 350.63s(逐会话 0/264.24/0/86.38),重试 0 ≤720s、每通重连≤2
新登记/上传/登记转写/试听合成 全 0(未开 8090;voices.json 前后哈希一致) 0
新增付费 0 0

6. 发现的问题(交回,不现场改核心代码)

  • 🟡 首声等待:输入结束→第一声 ~9.5s(user_final 后 ~7.1s;生成开始后 ~3.4s)。单样本+call1 量级相近,未达"经常"判定所需的多样本;按《复测安排》记录交回,不现场调参。构成:VAD 2.4s + 整轮缓冲生成 3.4s(buffer_turn 已知代价,换来零思考泄漏)+ TTS ~0.5s。
  • 🟡 worker.py _on_item 对 AgentHandoff 项取 role 抛 AttributeError(SDK 事件内捕获,非致命日志噪音,两轮通话均出现)。
  • 🟡 job 关停路径 TypeError: object NoneType can't be used in 'await' expression(livekit-agents shutdown 回调;非致命、挂断清理本身正常)。
  • 🟡 本窗测量脚本自身:tts_ctl.sh snapshot/stop 分支穿透导致一次多余的 TTS 重启(随即按快照停回,零合成零预算影响);call1 驱动超时杀进程丢失页内探针数据。均已在 tools/ 原样留档。
  • 已知窄窗口(延迟 cg.interrupt 打断新回复):本轮未观察到该事件,不宣称排除(无正面样本)。

7. 清理与恢复(逐项核对,window/post-window.txt)

8360/8361/8363/8082/9880 全停(精确 PID);LiveKit ListRooms 空(含那次证书空房,已核实删除;隔离实例会话登记文件留有一条 TTL 未到期记录,房间实际已不存在——API 进程先于 TTL 停机所致,留证不追删);voices.json 哈希前后一致、cg- 0;8300/8310/8320/8350/7880/10095 原样;GPU 747MiB;8340/ComfyUI 保持停机未碰。看门狗已停。证据包 /opt/cybergril-hel910/hel910-evidence-20261029.tar.gz sha256 83363576b922ff45a7b85706801ece5b790b2d22bf14a4e1dbf1aed303d7a3f0;测试档案/账本留在 /opt/cybergril-hel910/(未触碰任何既有实例与真实档案)。

8. 未测 / 承接(如实)

  • 真实用户麦克风打断时延(含可闻旧声期间的语音打断停声):两轮(HEL-907/910)均未取得有效样本,需真人在同一时间轴发声+听声,或下轮工程窗口先用"她实际有声才触发"的门控重试。
  • 时机A(生成中文字取消)正面样本:需文字在语音轮服务端激活后、生成完成前到达(如等 chat 行落库再发);本轮竞速反向+预算封顶,未覆盖。
  • 真实端点带 </think> 形状:未出现,真实分离未复现(离线证据在 HEL-909)。
  • 首声等待"经常>5s"与否:需多样本;本轮 1 精确样本 + 1 量级相近。
  • 真机/手机麦克风、Safari:未测(D3 用户动作)。

9. HEL-911 纠偏记录(2026-10-29 追加;上文原报告原样保留,不回改)

以下按总管独立复算(附件 hel910-independent-check.md)与 HEL-911 离线复现订正本文数字,原始日志/录音/快照未动:

  • §0/§4 的"18 条 companion 行"不准确:window/db-final.json 共 20 条 chat_message = user 11 + companion 9。思考隔离结论(零 <think> 泄漏)不变,基数以 9 为准。
  • §3 的等待链分段"turn_start +4.10s"不符合 marks:同钟原始 marks 为 playback_end → user_final +2.432s → turn_start +6.099s → assistant_interim +7.514s → 首有声帧 ≈+9.51s(frames 第二列是字节数,PCM 样本数需除 2;RMS 阈值 500 复算首声 9.514s,阈值 200 为 9.474s,"约 9.5s"总量成立)→ assistant_final +12.102s。原"生成 3.4s+TTS 0.5s"的相加归因作废,按真实时刻重建见下条与 docs/rework/hel911/summary.md。
  • §3 "字幕全文/落库 +12.10s" 的语义错误:assistant_final 字幕是播放收尾/回执门(整段播完且回执合法才发,contract v2),不是首次全文生成、更不是落库时刻。落库是 DB 行 14 ts=+7.511s(与 assistant_interim +7.514s 同刻)。
  • §7 "LiveKit ListRooms 空"的证据引述错误:window/post-window.txt 里 ListRooms 的实际输出是 invalid authorization token,不能作为空房证据;总管其后用服务器已有 agent venv 只读加载并独立核实 room_names=[](不打印凭证),空房结论成立但证据来源以此纠偏为准。
  • §6 两个 🟡 已在 HEL-911 修复:_on_item 对 AgentHandoff 取 role 的 AttributeError,与 job 关停 TypeError: object NoneType can't be used in 'await' expression(同步卸载回调被 SDK await)。
  • §6 首声等待的构成已重新归因(离线可证部分):user_final→turn_start 的 3.65~3.67s 是 livekit-agents 1.8.8 默认补入的英文 EOU TurnDetector 对中文终稿给出"不太像说完"判定、把 endpointing 延迟顶到 max_delay=6.0 所致;显式 turn_detection: None 后离线同链路该段降为 ~5ms。VAD 端点本身 ~0.7s、FunASR 离线纠错+适配器 0.6s 去抖共 2.43s、服务端整轮生成 ~1.4s、TTS 首包 1.61s 为主构成。修复已入 worker.py(TURN_HANDLING),首声总时延下降需真实窗口复测确认,本文不宣称。