chore: 移除剩余迁移验证脚本并说明汇总任务依赖
This commit is contained in:
Yvan
+1
-1
@@ -50,6 +50,6 @@
|
||||
|
||||
## 文档与脚本清理
|
||||
|
||||
104 份阶段报告、重复 JSON、旧目录审查和独立菜单 SQL，以及 26 个旧脚本已逐文件复制到仓库外并校验 SHA-256 后移除。保留统一迁移 SQL、业务口径、综合验收索引和 14 个当前验证工具，补充维护入口与脚本说明。
|
||||
首次清理将 104 份阶段报告、重复 JSON、旧目录审查和独立菜单 SQL，以及 26 个旧脚本移出项目。用户追加要求后，剩余 14 个验证工具、脚本说明和 Python 缓存也全部移出，`scripts` 目录已删除。所有移除文件均在仓库外归档并校验 SHA-256；统一迁移 SQL、业务口径与综合验收索引保留。
|
||||
|
||||
真实本地配置 `configs/config.yaml`、私有运行数据，以及其他会话的 V2 估算和 outputs 成果不纳入本次提交。未推送远端。
|
||||
|
||||
+1
-1
@@ -4,6 +4,6 @@
|
||||
- [当前接口审查](API_REVIEW.md)：此次修复、验证范围及保留的技术风险。
|
||||
- [后台说明](ADMIN_BACKEND.md)、[支付接入](PAYMENT.md)、[短信接入](SMS_INTEGRATION.md)。
|
||||
- [OA 迁移计划](OA_MIGRATION_PLAN.md)：独立 OA 工作的设计材料，不是当前商务迁移的完成证明。
|
||||
- [验证脚本](../scripts/README.md)：保留工具的用途和私有输入约定。
|
||||
- [汇总任务说明](sw6-to-kra/report-build-source-notes.md)：任务读写表及接口依赖；临时验证脚本已移出项目。
|
||||
|
||||
历史阶段记录已归档到仓库外；后续将最新结果更新到对应维护文档，不再每个接口生成一份日期报告。其他会话生成的商务 V2 估算及表格保持原状，本次清理和提交不包含这些文件。
|
||||
|
||||
@@ -8,7 +8,7 @@
|
||||
2. 在 [统一迁移 SQL](sw_to_kra_migrate.sql) 开头修改 `USE`，当前为 `USE sw9`。用支持 `DELIMITER` 的客户端在同一连接执行，遇错停止。
|
||||
3. 启动当前 Go 版本，执行版本迁移，补齐业务锁、密码重置表、附件引用和查询索引。大表首次建索引需要等待完成。
|
||||
4. 配置主库和 `lx`、`hw`、`yq`、`oa` 数据源。配置和凭据保存在仓库外；数据库连接信息不写入本目录。
|
||||
5. 对照 [验收记录](validation.md) 与 [验证脚本说明](../../scripts/README.md) 复核接口和任务。迁入计划默认停用，启用前应确认业务所需运行时段。
|
||||
5. 对照 [验收记录](validation.md) 与 [汇总任务说明](report-build-source-notes.md) 复核接口和任务。迁入计划默认停用，启用前应确认业务所需运行时段。
|
||||
|
||||
SQL 自动区分首次迁移、已完成迁移的菜单调整和异常中间状态；不会对完成迁移的库重新导入账号。重复执行及旧表已归档/清理的路径均有演练记录。
|
||||
|
||||
@@ -25,4 +25,4 @@ SQL 自动区分首次迁移、已完成迁移的菜单调整和异常中间状
|
||||
|
||||
SQL 生成器位于旧仓库 `script/sql/sw6_to_kra/build_sw7_migration.py`。修改生成器后同步本目录统一 SQL，并重新核对散列及迁移结果；不要恢复分阶段 SQL 补丁。
|
||||
|
||||
阶段报告、重复 JSON、旧 sw7 冒烟脚本已归档到本机仓库外 `D:/Users/Yvan/backups/sw9/20261104_rehearsal/cleanup-archive/`。该目录以及相邻的运行配置、原始响应、分区备份不纳入 Git。历史索引中 `reports` 项的文件名可在归档内查找。
|
||||
阶段报告、重复 JSON、全部临时验证脚本已归档到本机仓库外 `D:/Users/Yvan/backups/sw9/20261104_rehearsal/cleanup-archive/`，最后保留的工具位于其中的 `scripts-final/`。项目不再保留 `scripts` 目录，Go 任务运行不依赖这些脚本。归档及相邻的运行配置、原始响应、分区备份不纳入 Git。历史索引中 `reports` 项的文件名可在归档内查找。
|
||||
|
||||
@@ -25,3 +25,38 @@
|
||||
领域与存储测试覆盖身份/账号规则、重复构建、自然日筛选和身份明细写失败后的原子回滚。真实 TCP HTTP 使用隔离数据库和 Kra 原生任务创建、手动触发、执行日志，核对两种报表实际落库且任务仍为禁用。
|
||||
|
||||
当前验证状态统一见 [验收与性能记录](validation.md)，不再维护阶段性运行报告。
|
||||
|
||||
## 任务、表与接口的对应关系
|
||||
|
||||
这些任务是 Go 内部注册的方法，与已删除的临时验证脚本无关。它们从当前主库读取已同步的原始数据，再生成统计结果；不负责将 SDK 平台数据同步进主库。当前运行服务主库为 sw9。
|
||||
|
||||
| 任务方法 | 日期范围 | 写入的统计表 |
|
||||
|---|---|---|
|
||||
| swReportDayTodayTask | 上海时区今天 | tab_sw_report_day、tab_sw_report_day_key |
|
||||
| swReportDayYesterdayTask | 上海时区昨天 | 同上 |
|
||||
| swReportDayBackfillTask | startDate 至 endDate，含两端 | 同上 |
|
||||
| swReportServerDayTodayTask | 上海时区今天 | tab_sw_report_server_day、tab_sw_report_server_day_key |
|
||||
| swReportServerDayYesterdayTask | 上海时区昨天 | 同上 |
|
||||
| swReportServerDayBackfillTask | startDate 至 endDate，含两端 | 同上 |
|
||||
|
||||
商务日报读取 `tab_user`（主账号注册及身份资料）、`tab_user_day_login`（登录）、`tab_spend`（成功充值）、`tab_game`（游戏名）。区服日报读取 `tab_user_play_info`（创角 create_time、活跃 play_time）、`tab_spend`、`tab_user`、`tab_game`。
|
||||
|
||||
`tab_sw_report_day` 按日期、平台、渠道、游戏、去重模式保存注册数、活跃人数、付费人数、新增付费人数和充值金额。`tab_sw_report_server_day` 在相同维度上增加区服，注册数代表创角玩家数，不包含新增付费人数。
|
||||
|
||||
两个 `_key` 表保存参与统计的身份键，供跨日期、渠道或游戏聚合时重新 `COUNT(DISTINCT identity_key)`。例如同一玩家连续两天活跃，查询这两天的独立活跃人数应为 1，不能直接将两个日活人数相加。`dedup_mode=0` 使用账号 ID，`dedup_mode=1` 使用规范化身份证；空身份证不计入模式 1。`metric` 为注册 1、活跃 2、付费 3，商务日报另有新增付费 4；金额查询只读模式 0，避免两种模式重复累加。
|
||||
|
||||
每次重建会在一个事务内锁定“报表类型＋日期”，读取原始数据，删除统计表及对应 key 表该 `stat_date` 的旧行，批量写入新结果。读取或写入失败、取消时回滚；每个日期单独提交，回跑中途失败不会撤销此前已完成日期。除统计表外，会使用 `sys_business_report_build_locks` 保存互斥锁键，任务执行框架将结果记入 `sys_timed_task_logs`。原始用户、充值和登录记录不会被这些任务改写。
|
||||
|
||||
| 使用方 | 接口 | 依赖 |
|
||||
|---|---|---|
|
||||
| 渠道数据统计 | GET /sw/channelData/list | 商务日报两表 |
|
||||
| 游戏数据 | GET /sw/gameData/list | 商务日报两表 |
|
||||
| 三类排行榜 | GET /sw/rank/channel、/business、/game | 商务日报两表 |
|
||||
| 仪表盘/工作台 | GET /sw/workbench/summary、/registerTop、/payRank | 商务日报两表；汇总中的新增渠道另查渠道表 |
|
||||
| 商务画像 | GET /sw/business/:userId/portrait、/sw/business/bindPlatform/portrait | 商务日报两表 |
|
||||
| 渠道画像及游戏分布 | GET /sw/promote/portrait、/sw/promote/game-distribution | 商务日报两表；付费分层还会读取原始充值 |
|
||||
| 区服分析 | GET /sw/serverAnalysis/list | 区服日报两表 |
|
||||
|
||||
普通渠道列表、注册明细、充值明细、渠道激活、工作台未登录榜，以及游戏/区服下拉选项不直接使用这四张汇总表。预警检测 `alertTriggerTask` 另行读取原始注册/充值数据，不由这些汇总任务生成预警。
|
||||
|
||||
今天任务用于当天持续刷新，昨天任务用于补算昨日完整数据，backfill 用于补历史或纠正迟到数据。2026-11-04 核实时六条计划全部停用：不自动刷新汇总，但已有历史结果仍可查询；若原始数据继续同步，依赖汇总的指标会与明细逐渐产生时间差。
|
||||
|
||||
@@ -65,4 +65,4 @@
|
||||
|
||||
## 页面
|
||||
|
||||
渠道激活页不再在发起分页请求时清零 total；排行榜与仪表盘四榜并排、付费率用百分比、头部两项偏好直接勾选；三级商务保留商务列表/绑定列表切换。完整页面检查脚本仍保留，运行截图和带业务数据的响应仅存仓库外。
|
||||
渠道激活页不再在发起分页请求时清零 total；排行榜与仪表盘四榜并排、付费率用百分比、头部两项偏好直接勾选；三级商务保留商务列表/绑定列表切换。页面检查脚本、运行截图和带业务数据的响应均已保存在仓库外。
|
||||
|
||||
Reference in New Issue
Block a user