yvan/kra-new
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

fix: 修复商务汇总任务超时并验证计划启用

Browse Source
This commit is contained in:
Yvan
2026-11-04 15:46:46 +08:00
parent 7764b03906
commit 34535c90c3
9 changed files with 260 additions and 36 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/sw6-to-kra/report-build-source-notes.md
+5 -3
View File
@@ -10,7 +10,7 @@
- 新增付费先取同一分组内“当日注册账号 ∩ 当日付费账号”，再转身份证；不能直接用身份证交集，否则会把同证件的其他账号误认成新增付费。
- 区服注册取 `tab_user_play_info.create_time` 的创角，活跃取 `play_time`，不套用日注册/登录的主账号限制。区服编号去首尾空白，保留前导零；创角/活跃缺游戏 ID 时忽略，充值缺游戏 ID 沿用 0。区服汇总没有新增付费指标。
- 两类报表均按日、平台、渠道、游戏（区服额外编号）生成模式 0/1 两行及对应身份键。模式 1 去首尾空格、仅将末尾 X 转 x，空身份证丢弃。金额两种模式相同，查询层仍固定读取模式 0。
- 游戏名作为当前游戏资料的快照写入。游戏/用户按关联 ID 批量加载，平台作为字典键的一部分，不混淆跨平台同号。
- 游戏名作为当前游戏资料的快照写入。已知平台的用户按平台分组、ID 排序后分批加载；缺平台的事件仍读取全部同号用户以判断唯一主账号。平台作为字典键的一部分，不混淆跨平台同号。
## 原子替换与任务
@@ -18,7 +18,7 @@
- 汇总、身份键按批写入，失败或取消回滚原有分区；其他日期不变。输出日期固定 `yyyy-MM-dd`，不采用驱动返回的时间格式作为写入日期。
- 任务方法保留 `swReportDayTodayTask` / `YesterdayTask` / `BackfillTask` 和对应 `swReportServerDay*` 六个名字。已有迁移 SQL 保留旧执行器名和 `_execution` 参数，可直接绑定 Kra 方法执行器。
- 回跑参数为 startDate/endDate；每个缺省日期独立取昨日，闭区间逐日重建、日间暂停一秒，最后一天不暂停。支持上下文取消，非法/倒置日期报错。
- 不新建默认商务计划、不启用旧导入计划。原始同步表和四张业务报表表沿用旧库结构；本批只新建日期互斥锁表，不在系统库中伪造完整业务数据源。
- 迁移本身不新建默认商务计划、不启用旧导入计划；实际运行状态由管理员单独配置。原始同步表和四张业务报表表沿用旧库结构，不在系统库中伪造完整业务数据源。
## 验证边界
@@ -59,4 +59,6 @@
普通渠道列表、注册明细、充值明细、渠道激活、工作台未登录榜，以及游戏/区服下拉选项不直接使用这四张汇总表。预警检测 `alertTriggerTask` 另行读取原始注册/充值数据，不由这些汇总任务生成预警。
今天任务用于当天持续刷新，昨天任务用于补算昨日完整数据，backfill 用于补历史或纠正迟到数据。2026-11-04 核实时六条计划全部停用：不自动刷新汇总，但已有历史结果仍可查询；若原始数据继续同步，依赖汇总的指标会与明细逐渐产生时间差。
今天任务用于当天持续刷新，昨天任务用于补算昨日完整数据，backfill 用于补历史或纠正迟到数据。2026-11-04 按用户要求与旧计划同步：四条今天/昨天汇总计划和预警计划启用；两个 backfill 保持停用，需要时手动运行。周期、时区和超时/重试参数保持原配置，详见 [验收记录](validation.md)。
报表输入索引由版本 `202611040014_business_report_build_indexes` 增量添加：`tab_user.idx_sw_user_report_identity` 覆盖用户身份及渠道字段，`tab_user_play_info.idx_sw_play_report_active` 覆盖活跃时间查询的全部读取字段。迁移跳过未接入的业务表，重复执行不重建已有同列索引，同名异列索引报错。MySQL 使用 `ALGORITHM=INPLACE, LOCK=NONE`，不改写原始业务字段。
docs/sw6-to-kra/validation.md
+29 -6
View File
@@ -28,15 +28,38 @@
| 方法 | 周期 | 测试库状态 |
|---|---|---|
| swReportDayYesterdayTask | 每日 01:00 | 停用 |
| swReportServerDayYesterdayTask | 每日 01:05 | 停用 |
| swReportDayTodayTask | 每 5 分钟，第 40 秒 | 停用 |
| swReportServerDayTodayTask | 每 5 分钟 | 停用 |
| swReportDayYesterdayTask | 每日 01:00 | 启用 |
| swReportServerDayYesterdayTask | 每日 01:05 | 启用 |
| swReportDayTodayTask | 每 5 分钟，第 40 秒 | 启用 |
| swReportServerDayTodayTask | 每 5 分钟 | 启用 |
| swReportDayBackfillTask | 每 60 秒，原配置停用 | 停用 |
| swReportServerDayBackfillTask | 每 60 秒，原配置停用 | 停用 |
| alertTriggerTask | 每 30 分钟 | 停用 |
| alertTriggerTask | 每 30 分钟 | 启用 |
新库未开启自动执行；框架自带 ClearDB、CleanStaleUploads 另行保留。旧工程的演示、分片、MapReduce 示例没有实际商务计划，不属于漏迁。方法超时后仍未退出时禁止重复执行，同分区报表和预警写入有事务锁及去重测试。
2026-11-04 按用户确认与旧库启停状态同步，五条常规任务开启自动执行，两个历史回填保持停用；框架自带 ClearDB、CleanStaleUploads 继续停用。七条计划的周期、启停、上海时区、下次执行时间及超时/重试参数逐条核对通过，常规任务仍为 60 秒超时。旧工程的演示、分片、MapReduce 示例没有实际商务计划，不属于漏迁。方法超时后仍未退出时禁止重复执行，同分区报表和预警写入有事务锁及去重测试。
### 启用后的实际复测
中断续接时，昨日两类汇总均有 60 秒超时记录。用户查询改为按平台分组、ID 排序分批，避开 MySQL 5.7 多列 IN 部分批次的全表扫描；新增用户身份和区服活跃覆盖索引，减少大行回表。原始业务字段、统计规则和任务执行参数不变。
版本 `202611040014_business_report_build_indexes` 已在 sw9 应用，迁移版本总数为 28。两条索引分别为 `tab_user.idx_sw_user_report_identity(id,source_db,puid,promote_id,idcard)`、`tab_user_play_info.idx_sw_play_report_active(play_time,user_id,source_db,promote_id,game_id,server_id)`。
| 复测项 | 结果 |
|---|---|
| 昨日商务汇总，统计日 2026-11-03 | 最终版本实际执行成功，21.032 秒 |
| 昨日区服汇总，统计日 2026-11-03 | 最终版本实际执行成功，20.243 秒 |
| 今日两个汇总 | 已观察到多轮自动成功执行 |
| 预警任务 | 15:30 自动成功，28.864 秒；两库 480 条业务记录相等，用户 ID 按迁移表映射，排除生成 ID 和创建/更新时间 |
| 区服用户资料读取 | 同批 18,177 用户，71.619 秒降至 0.443 秒，38 批全部使用覆盖索引 |
| 区服活跃输入读取 | 同批 20,564 行，28.545 秒降至 0.074 秒，使用覆盖范围索引 |
以上为该测试库的单轮实测，包含当时缓存和数据库负载影响，不是固定延迟承诺。Go 全量测试、构建及独立 MySQL 5.7 的六组回归通过；新增回归验证覆盖索引、批量身份读取、索引幂等和同名异列冲突拒绝，既有事务回滚测试通过。
四张表的 2026-11-03 重建结果分别为 3,440、15,064、19,682、30,671 行，合计 **68,857 行**，逐行及 SHA-256 均与此前保存的旧程序同日重建结果一致。该比较明确复用旧重算基线，本轮没有重跑或覆盖 sw8 的昨日分区。
直接比较两库当前昨日分区仍有差异：sw8 保留此前恢复的旧汇总，日报 8 行指标变化、日报身份键少 10 行，区服汇总 15 行旧结果对应 29 行重建结果、区服身份键少 31 行。不能把重算基线一致表述为两库当前分区一致。2026-11-04 两库四表均为空，sw9 当日注册、登录、成功充值、创角及活跃原始记录均为 0；今日验证覆盖自动触发和空日处理，非空数据核对使用昨日。
原始对比、任务日志和查询计划位于仓库外 `D:/Users/Yvan/backups/sw9/20261104_rehearsal/tasks-enabled-20261104_145308/`，最终证据为 `resumed-verification.json`、`final-manual-task-logs.json`、`task-index-installation.json`。辅助脚本同样留在仓库外，未恢复项目内已删除的 scripts 目录。最终版本运行于日常 8000 服务，保持五条自动计划启用。
## 已完成的性能优化