- worker _on_item: filter conversation_item_added by the real 1.8.8 item
discriminator (ChatMessage | AgentHandoff | _TypeDiscriminator); only
assistant str-part body feeds the echo filter (HEL-910 AttributeError)
- bind_interrupt_channel unload: async (JobContext shutdown callbacks are
awaited), idempotent, disconnect-safe; interrupt/receipt/budget paths
untouched (HEL-910 TypeError await None)
- TURN_HANDLING: explicit turn_detection=None — 1.8.8 silently installs an
English EOU TurnDetector whose unlikely verdicts on Chinese finals push
endpointing to max_delay=6.0 (measured 3.667/3.654s HEL-910 call2; offline
A/B on the real SDK: baseline 3.704s vs fixed 0.004s). Endpointing
0.8/6.0 kept verbatim; no VAD/buffer_turn/semantic change
- scripts/gen_hel911_wait_repro.py: offline reproduction harness (real
AgentSession + real silero VAD + HEL-910 wav and measured timings)
- tests: +3 real-SDK checks (11/11 on .12 agent venv; prior 8 regressions
kept, unload call sites await the new protocol)
- hel910_call1.mjs reliability: segmented probe/recorder dumps to disk,
timing-A trigger requires the server-committed voice turn row (not a
we-sent-it proxy); node --check only, no real run
- window-record.md §9: appended factual corrections (companion 9 not 18,
turn_start +6.099 not +4.10, assistant_final is the playout/receipt gate,
post-window ListRooms token failure is not empty-room evidence); original
record untouched
- docs/rework/hel911/summary.md + handoff-HEL-911.json; requirement checks
pass vs origin/main and 407fc81
Co-authored-by: multica-agent <github@multica.ai>
14 KiB
HEL-910 · 真实通话复测窗口记录:发文字停声与新回复(2026-10-29)
授权:白栖知主卡 HEL-797 评论
01a18753-8c70-7181-9758-5bab4685ba9f「继续测」,批准 《HEL-797-交谈修复复测安排.md》(附件01a18755-110e-71c8-b12f-10d234e28b6a)。 候选:agent/2/15e79a2458bb@958c6962fb1f2a4462a6df794d893aee1fcb0667(父 b8ec832;部署前 对本地git archive 958c696逐文件 sha256 核对服务器/opt/cybergril-hel910/current完全一致, 仅多一个 REVISION 标记;web/dist 含 cg.interrupt 构建产物)。需求基准 v1.12/60 项;本卡无需求变更。 窗口(UTC):布防后首个真实出站 11:53:12.96(dry 房 ASR connect)→ 封账 12:16:46 ≈ 23.6 分 (≤45 分);LLM 触线 10/10 即停。
0. 结论速览
| 问题(白栖知的原始问题) | 结果 |
|---|---|
| 用户发文字时她能否停下来 | ✅ 真实网页输入框发送(真 Enter 键):她在播的语音停止(浏览器能量探测 ≤~1.4s 内持续静默;本地 hush 静音在发送瞬间);第二通未取得可闻旧声期间的回放打断样本(时机错过,如实) |
| 文字是否得到回复 | ✅ 两次网页文字(T1 在播时、T2 在她想完待播时)都得到完整回复并落库(行 sent),旧轮不复活、无幽灵行;回执纪律正确(被打断轮零回执) |
| 她多久开口 | ⚠️ 实测(第二通,完整链):输入结束→识别终稿 2.43s→开始生成 +4.10s→实际第一声 +9.53s→字幕全文/落库 +12.10s。首声距输入结束 ~9.5s(>5s 关注线,主因 VAD 2.4s+整轮缓冲生成 3.4s+TTS ~0.5s;单样本如实交回) |
| 是否读内部思考 | ✅ 本轮全部真实回复(18 条 companion 行、字幕、TTS 文本)干净无思考;但真实回复未出现带 </think> 形状,故真实端点未复现"带 closer 分离";离线证据在 HEL-909 |
| 生成中被文字取消(时机A) | ⛔ 未取得正面样本:call1 网页侧 U2 检测失误未触发;call2 的 API 直发文字与 worker 语音轮竞速反向(文字先到被语音轮正常取消,行 cancelled+幂等 chat.cancelled 帧);随后语音轮撞 10/10 预算硬闸诚实 φ 失败。预算封顶不补测 |
| 语音打断后声音恢复 | ✅ 两次文字打断后,后续语音轮正常出声并完整回执(U2 轮、U4 轮 receipt ack) |
| 全部上限 | ✅ 全部在上限内或恰好触线即停(LLM 10/10 触线、建房 4/4 触线;tokens 30398/40000、TTS 6/20、ASR 350.63/720s、通话 2/2、窗口 23.6/45min、付费 0) |
| 清理与恢复 | ✅ 8360/8361/8363/8082/9880 全停;LiveKit 房间空;voices.json 哈希前后一致、11 支内置零变化、cg- 零残留;8300/8310/8320/8350/7880/10095 未动;GPU 回 747MiB |
1. 布防(先核环境,cap=0 fail-closed 验证后才开窗)
- 快照:端口/进程/GPU/voices.json(哈希
7b2a5021…,11 内置,cg- 0)/TTS 9880 停机 →window/pre-window.txt。 - 隔离部署
/opt/cybergril-hel910/(新预算、新 window_idhel910-20261029-a、新隔离档案「小测」;HEL-907/879 目录只读复用):- 统一实例 8360/8361 同进程双入口(
tools/api_ctl.sh,.venv311只读复用,CYBERGRIL_SEMANTIC=stub、R2_ENABLED=1与 HEL-907 一致); - WSS 桥 8363、专属 worker 8082(agent venv 1.8.8);
etc/models.yaml三档reasoning: buffer_turn与候选config/models.yaml逐字一致,仅预算块改为本窗批准值(dialogue 10 / total 10 / 40000 tokens,其余 0)。
- 统一实例 8360/8361 同进程双入口(
- cap=0 fail-closed 预检(
models-failclosed.yaml):建档案 → persona_job=failed(background=0,预占前拒绝);POST /api/chat → 诚实chat.error(φ 原句),request_usage/budget_total全空(零出站);POST /api/voice/session 在 TTS 停机时 503 且不建房。之后整库丢弃换 armed。 - 共享 TTS 9880 按快照临时恢复(health ok,14s);面板 8090 本轮未启用(零登记/零试听,不需要)。墙钟看门狗(44 分钟硬顶,精确 PID 句柄)常备;
force_end.sh覆盖异常路径。
2. 第一通:真实网页入口的文字打断(浏览器=用户,Chromium 156 headless)
- 用户侧全部走真实页面
https://192.168.200.12:8361:自签证书按用户姿态逐 origin 过Interstitial(8361+8363);麦克风=Chromium fake capture 回放既有工程样本时刻表(tools/build_fake_wavs.py:U1 海绵宝宝@0s、U2 八戒@60s、U3 海绵宝宝@120s,240s 循环);文字=真实输入框textarea+ CDP 真实 Enter 键(非直接 POST)。页面探针(同页时钟):流能量 50ms、el.muted转换、voice 相位、heard 文本、chat DOM、fetch 网络。截图web/01..09。 - T1(时机B:旧回答已生成、TTS 实际在播):她在播 R1(能量>0.02 持续、相位 speaking)时输入框发送 → 发送瞬间本地 hush 静音(同步);~1.4s 内浏览器收流能量持续归零(远端旧音轨停止;0.2s 轮询+静默窗口径,粗粒度如实);T1 获完整文字回复(行4 sent);R1 不复活(行2 已完、无后续 R1 音频、receipt 正确缺席);U2 语音轮随后正常出声(行5/6 sent,回执 ack)→ 文字打断后语音恢复正常。
- T2(网页入口,页面相位=thinking 时发送):实际落在 U3 回复已落库、TTS 待播/刚起播的间隙(HEL-909 评审 C 形状)→ U3 回复行8 sent 且文本完整保留(音频被截,receipt 正确缺席);T2 获完整回复(行10「平静。」);U4 语音轮再次正常出声且回执 ack(行11/12)→ 恢复正常第二次确认。
- call1 缺陷/失误(如实):① 驱动脚本对 U2 heard-final 的检测条件未命中(原因无法定证——探针原始数据随浏览器被超时杀掉丢失),时机A 网页正面样本因此未执行;② 页面语音会话结束后文件循环带来一次 U4 轮(+257s,回复在挂断后落库、未出声)多耗 1 次 LLM——测量装置的时序代价,已计入账本;③ 浏览器探针原始 JSON/webm 因驱动进程超时被杀未存盘(截图与里程碑日志保留;第二通用 python 客户端独立取证帧级时间轴)。
3. 第二通:python 客户端(同钟毫秒时间轴,window/call2.*)
- 稍长问题(八戒)等待链(call2.json marks + frames/wav 离线对齐):回放发完 → user_final +2.43s(VAD)→ turn_start(生成开始)+4.10s → 实际第一声 +9.53s(wav 能量段起播;生成 3.44s+TTS 首包)→ assistant_final(字幕全文)+12.10s → 播放完整、回执 ack(+12.10s 处)。回复本体较短(「好,小十。去化缘…」14 字)——「稍长回复」目标部分达成,等待数字仍有效(整轮缓冲的主导项是 VAD+生成,不随回复长度显著变化)。
- 回放打断(xiaoyun,响亮短句 rms 4970 预检):⚠️ 未取得有效样本——她的 Q1 音频在打断回放开始前 ~1.1s 已自然播完(wav 能量段 979988–982187 vs 回放起播 ~983.3k),
turn_cancel(interrupted)是其后新轮被同段回放第二次 final 打断(非停旧声)。真实取到的:VAD 中断链路真实工作(cancel=final 后 0.6s)、被打断轮回执 fail-closed 正确。HEL-907 同项亦未取得,两轮均如实不冒充。 - 时机A(API 直发文字取消生成中的语音轮):竞速反向——文字 POST 先于 worker 语音 POST 到达(turn_start 在适配器开流时即发,早于服务端收到),文字轮被更新的语音轮正常取消(行19 cancelled + SSE 幂等
chat.cancelled终态帧,即 HEL-908 R1 修复路径的真实表现);随后语音轮 LLM 预占撞 10/10 硬闸 → 诚实chat.errorφ 原句念出(行20 failed,无幽灵 companion 行)。正面"生成中被取消"样本未取得,预算封顶不补测。 - 挂断:DELETE 200、房间真删、删后仅 1 帧在途。
4. 思考隔离检查(真实端点)
18 条 companion 落库行、全部字幕、tts-window.log 合成文本:零 <think>/</think>/思考前缀。
但本轮真实回复均未出现带 closer 形状(该端点隐式思考无标签时任何客户端模式都不可分离——HEL-908 已声明边界):真实端点未复现"带 </think> 分离",覆盖范围如实限定;离线 32 组形状证据见 HEL-909 附件。
5. 用量账(含失败/取消;封账后不重开)
| 类别 | 实际 | 上限 |
|---|---|---|
| 时窗 | 23.6 分(11:53:12.96→12:16:46) | ≤45 分 |
| 通话 | 2 通(浏览器 ~4.4 分 / python ~1.5 分,串行) | ≤2、各≤5 分 |
| 建房 | 4(dry+call1+call2+一次 SSL 证书报错未连成的空房,房间已核实删除、房间清空) | ≤4(触线) |
| LLM | 10 请求 / 30,398 tokens(触线即停):call1 6(含挂断后 U4 轮)+ call2 4 | ≤10 / ≤40000 |
| 嵌入/生活/后台/语义 | 0(stub;persona/background=0 fail-closed 预检证实) | 0 |
| 通话 TTS | 6 段(达首包口径) | ≤20 |
| 连续 ASR | 保守=确证 350.63s(逐会话 0/264.24/0/86.38),重试 0 | ≤720s、每通重连≤2 |
| 新登记/上传/登记转写/试听合成 | 全 0(未开 8090;voices.json 前后哈希一致) | 0 |
| 新增付费 | 0 | 0 |
6. 发现的问题(交回,不现场改核心代码)
- 🟡 首声等待:输入结束→第一声 ~9.5s(user_final 后 ~7.1s;生成开始后 ~3.4s)。单样本+call1 量级相近,未达"经常"判定所需的多样本;按《复测安排》记录交回,不现场调参。构成:VAD 2.4s + 整轮缓冲生成 3.4s(buffer_turn 已知代价,换来零思考泄漏)+ TTS ~0.5s。
- 🟡 worker.py
_on_item对AgentHandoff项取role抛 AttributeError(SDK 事件内捕获,非致命日志噪音,两轮通话均出现)。 - 🟡 job 关停路径
TypeError: object NoneType can't be used in 'await' expression(livekit-agents shutdown 回调;非致命、挂断清理本身正常)。 - 🟡 本窗测量脚本自身:
tts_ctl.shsnapshot/stop 分支穿透导致一次多余的 TTS 重启(随即按快照停回,零合成零预算影响);call1 驱动超时杀进程丢失页内探针数据。均已在tools/原样留档。 - 已知窄窗口(延迟 cg.interrupt 打断新回复):本轮未观察到该事件,不宣称排除(无正面样本)。
7. 清理与恢复(逐项核对,window/post-window.txt)
8360/8361/8363/8082/9880 全停(精确 PID);LiveKit ListRooms 空(含那次证书空房,已核实删除;隔离实例会话登记文件留有一条 TTL 未到期记录,房间实际已不存在——API 进程先于 TTL 停机所致,留证不追删);voices.json 哈希前后一致、cg- 0;8300/8310/8320/8350/7880/10095 原样;GPU 747MiB;8340/ComfyUI 保持停机未碰。看门狗已停。证据包 /opt/cybergril-hel910/hel910-evidence-20261029.tar.gz sha256 83363576b922ff45a7b85706801ece5b790b2d22bf14a4e1dbf1aed303d7a3f0;测试档案/账本留在 /opt/cybergril-hel910/(未触碰任何既有实例与真实档案)。
8. 未测 / 承接(如实)
- 真实用户麦克风打断时延(含可闻旧声期间的语音打断停声):两轮(HEL-907/910)均未取得有效样本,需真人在同一时间轴发声+听声,或下轮工程窗口先用"她实际有声才触发"的门控重试。
- 时机A(生成中文字取消)正面样本:需文字在语音轮服务端激活后、生成完成前到达(如等 chat 行落库再发);本轮竞速反向+预算封顶,未覆盖。
- 真实端点带
</think>形状:未出现,真实分离未复现(离线证据在 HEL-909)。 - 首声等待"经常>5s"与否:需多样本;本轮 1 精确样本 + 1 量级相近。
- 真机/手机麦克风、Safari:未测(D3 用户动作)。
9. HEL-911 纠偏记录(2026-10-29 追加;上文原报告原样保留,不回改)
以下按总管独立复算(附件 hel910-independent-check.md)与 HEL-911 离线复现订正本文数字,原始日志/录音/快照未动:
- §0/§4 的"18 条 companion 行"不准确:
window/db-final.json共 20 条 chat_message = user 11 + companion 9。思考隔离结论(零<think>泄漏)不变,基数以 9 为准。 - §3 的等待链分段"turn_start +4.10s"不符合 marks:同钟原始 marks 为 playback_end → user_final +2.432s → turn_start +6.099s → assistant_interim +7.514s → 首有声帧 ≈+9.51s(frames 第二列是字节数,PCM 样本数需除 2;RMS 阈值 500 复算首声 9.514s,阈值 200 为 9.474s,"约 9.5s"总量成立)→ assistant_final +12.102s。原"生成 3.4s+TTS 0.5s"的相加归因作废,按真实时刻重建见下条与
docs/rework/hel911/summary.md。 - §3 "字幕全文/落库 +12.10s" 的语义错误:assistant_final 字幕是播放收尾/回执门(整段播完且回执合法才发,contract v2),不是首次全文生成、更不是落库时刻。落库是 DB 行 14 ts=+7.511s(与 assistant_interim +7.514s 同刻)。
- §7 "LiveKit ListRooms 空"的证据引述错误:
window/post-window.txt里 ListRooms 的实际输出是invalid authorization token,不能作为空房证据;总管其后用服务器已有 agent venv 只读加载并独立核实room_names=[](不打印凭证),空房结论成立但证据来源以此纠偏为准。 - §6 两个 🟡 已在 HEL-911 修复:
_on_item对 AgentHandoff 取role的 AttributeError,与 job 关停TypeError: object NoneType can't be used in 'await' expression(同步卸载回调被 SDK await)。 - §6 首声等待的构成已重新归因(离线可证部分):user_final→turn_start 的 3.65~3.67s 是 livekit-agents 1.8.8 默认补入的英文 EOU TurnDetector 对中文终稿给出"不太像说完"判定、把 endpointing 延迟顶到 max_delay=6.0 所致;显式
turn_detection: None后离线同链路该段降为 ~5ms。VAD 端点本身 ~0.7s、FunASR 离线纠错+适配器 0.6s 去抖共 2.43s、服务端整轮生成 ~1.4s、TTS 首包 1.61s 为主构成。修复已入 worker.py(TURN_HANDLING),首声总时延下降需真实窗口复测确认,本文不宣称。