Feat/hel 529 datahub v12 three pages #2

2026-09-15T09:33:20+08:00

leefer commented

2026-09-15 09:33:20 +08:00

No description provided.

leefer added 5 commits 2026-09-15 09:33:20 +08:00

HEL-543: add data hub observability side-channel (provider status, source catalog, lineage) ad70d8fccc

- New provider_call_log/provider_health tables (additive-only schema),
  wired via a fail-open observability.observe()/record_call() helper.
- Tushare pipeline keeps its existing src_calls record unchanged and now
  also feeds the unified provider_health/provider_call_log side channel.
- Eastmoney/Tencent realtime_serve.py call sites and the iFinD steward
  call site are wrapped with observability.observe() at the call site
  only; no adapter internals, routing, fallback order, or return values
  are touched.
- New read-only admin API endpoints: /admin/api/providers/status,
  /admin/api/source-catalog, /admin/api/lineage,
  /admin/api/lineage/affected.
- New static, read-only source_catalog.py and lineage.py registries
  documenting existing providers/interfaces/datasets and known
  main-site consumers (cited against backend/features/screener and
  backend/features/heaven call sites).
- provider_call_log is purged by the existing pipeline.cleanup() job
  alongside src_calls/job_runs.
- 47 new unit/integration tests covering classification, fail-open
  behavior under DB/log failures, unchanged payloads/exceptions on
  success and failure paths, and the new HTTP endpoints. Full suite:
  173 tests, all green.

Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: multica-agent <github@multica.ai>

HEL-543 返工: 补充 observability 运行时可关闭开关 (DATAHUB_OBSERVABILITY) 2e9442ac5a

总工复核 🔴：安全边界要求新增观测功能必须可关闭、关闭后现有功能完全照旧，
但此前实现没有任何运行时开关。修复：

- settings.py: 新增 Settings.observability_enabled 字段，沿用既有
  DATAHUB_SCHEDULER 的环境变量模式，读取 DATAHUB_OBSERVABILITY
  (0/false/off 关闭，默认开启)。
- hub.py: Hub.__init__ 把 settings.observability_enabled 挂到
  self.db 上，让 pipeline/realtime_serve/steward/admin_api 已经
  在传的 db 参数直接带上开关，零额外改造。
- observability.py: 新增 is_enabled(db)，缺失该属性时默认按启用处理
  (向后兼容裸 HubDB 用例/测试)。关闭时 observe() 变成纯
  透传（不计时、不分类、不碰数据库)，record_call() 直接 no-op。
- admin_api.py: 4 个新只读端点关闭时返回明确的
  {"enabled": false, ...空结构} 而不是静默返回旧数据。
- 新增 10 个测试：开关默认值/环境变量解析、关闭后 observe() 的透传语义
  (含异常原样重新抛出)、关闭后 record_call() 零写入、关闭后重新开启恢复
  记录、4 个 admin 端点在关闭态的响应结构。

全量测试 183/183 通过（新增 10 个，含此前 173 个零回归）。

Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: multica-agent <github@multica.ai>

feat(HEL-529): 按第十二版实现三页数据中枢管理后台 31da37b49e

以 hub-kimi.html + SPEC-V11.md(v12) 为唯一视觉基线，将 /admin/ 重写为
运行总览 / 数据源配置 / 数据血缘 三页单一入口；接入 HEL-543 只读旁路
与既有 admin API，保留调度/发布/审计与危险操作入口，零新依赖。

Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: multica-agent <github@multica.ai>

fix(HEL-529): 减少动态挂到 body/#app 覆盖抽屉弹层过渡 d9358ab377

审核返工：reduce-motion 原先只挂 #appRoot，兄弟节点 drawer/modal/toast
的 CSS transition 仍生效；改为挂 body 与 #app，computed duration 归零。

Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: multica-agent <github@multica.ai>

feat(HEL-529): 按定稿100%重做三页数据中枢 + 数据修正1-5 3bafd30aad

视觉：admin/app.js 按已确认打样 hub-kimi.html 逐行重写三页 DOM 与动效
（sparkline/缓存年龄秒增/延迟变化闪烁/EVENT TAPE 预装滚动/分组接口表/
更新频率列/时钟冒号 blink/雷达 blip），CSS 补真实调用脉冲 node-ping。
数据修正：
1) pipeline._stage 批内按暂存表业务键确定性去重（保留最后一条），
   修复人气榜/龙虎榜自 09-07 起每日 UNIQUE constraint 落库失败；
2) overview.anomalies 收敛为「最新批次未成功且当日未发布」的当前异常，
   历史已恢复批次留在审计明细；
3) source_catalog 接口补真实批次分组 + 观测 join（接口名或数据集名
   双向匹配，标注 observed/observed_basis），消除「全部未配置/0/30」误报；
4) lineage 逐数据集按其服务接口过滤健康行（接口级状态），
   provisional 已配置无观测显示「已配置 · 待观测」，仅 iFinD 为未配置；
5) lineage 补 update_freq 真实频率字段。
测试：新增 tests/test_hel529_rework.py（8 项），全套 191 项通过
（1 项环境依赖失败在基线 d9358ab 上同样复现，与本改动无关）。

Co-authored-by: multica-agent <github@multica.ai>

leefer merged commit 9b2f0993d3 into main

2026-09-15 09:33:25 +08:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: leefer/xiaobai-review#2