 tamakyi
|
6ff6f944a1
|
换基线：把「底座换代」做进后台（站点数据一行不动）
导出是「底座为底 + 只覆盖托管表」，所以底座必须是手机导出的包。底座跟着数据集走，
手机重新导出后想换代，以前只能整包重新导入成新数据集（站点补录的行、主题、备注都得重收拾）。
新动作 /admin/baseline（后台首页加入口）就是给同一份数据的底座换代用的。
三道闸，顺序不能挪：
1. 重合判据：新包里的到访 UUID 与站点侧带 UUID 的到访比。一条都对不上直接拒
（连 force 也不给过）——干跑只验结构，一份不相干的包照样导得出，但换下去站点
每行都在新底座里认不出身份，全按新行插到最大编号之后，真机上就是「这些到访
全变成新的」。重合率不到一半要显式确认；判据没过不当场报错了事：包已经收进
uploads，页面给一个「我确认，强制替换」按钮，不必重传几十 MB。
2. 干跑导出：底座缺表/缺实体编号在这步挡住，不会出现「换完了才发现导不出、
原来那份已经不知去哪」。
3. 旧底座留档 + 记档，换错了可一键回滚。
两个坑：
- 留档名不能只用秒级时间戳。「替换后紧接着回滚」落在同一秒时，回滚那次 rename 会把
刚生成的留档覆盖掉，于是回滚回了个寂寞（TestRollbackBaselineRestoresPrevious 当场红）。
改用 baselineBackupName()：20060102-150405 + 冲突自增。
- ensureBaseline 必须先看记档。只认 datasets.sha256（= 最初那份包）的话，底座一丢就静默
重建回旧包，上一次换基线白做且毫无提示。抽出 ensureBaselineTo(ctx, dsID, dst) 共用；
「重建」入口写临时文件再 rename，不做破坏性删除。
回归用例 7 条（internal/web/baseline_swap_test.go）：成功路径断言「换底座前后导出包里
ZVISIT 的 UUID 集合逐条一致」——编号会换、身份不该换，谁在底座里没对上立刻亮；
记档优先重建带反证（清掉记档后同一条路必须走不通）；部分重合需确认、完全对不上 force
也不给过、非包文件第一步就挡住、回滚还原且当前那份也留档、页面渲染到底。
验收：./scripts/verify.sh 全量 PASS=318 FAIL=0 SKIP=0。
|
2026-09-30 19:00:18 +08:00 |
|
|
tamakyi
|
d99c63fa4f
|
导出：把 ZVISIT.ZRAW 夹到包内采样行数以内（越界会让真机整包拒收）
ZVISIT.ZRAW 是「这次到访由多少个原始采样点归并而来」的缓存计数，而采样点表 ZRAWVISIT 是
**不托管实体**（只从基线原样带过来）。合并进来的到访带着源包的计数、源包的那些采样行站点
没留下 ⇒ 计数会超过包里实际有的采样行数。
2026-09-30 逐行二分定位：生产导出被真机拒收（「备份恢复失败，你的当前数据未被修改」），
罪魁是单条 `ZVISIT #1000`——它声称 2305 个采样点，而包里只有 2246 行 ZRAWVISIT；
把这一列改成 1421 后同一份包立刻能导入。旁证：被真机接受过的三份包（09-14 基线、
09-20 A 包、验收纯净往返包）的 ZRAW 最大值都恰好 ≤ 采样行数，而它们 ZRAW 为 NULL/0 的行
本来就有 39~139 条 ⇒ 往下夹是安全的、夹取只降不升。
顺带：`readDupBaseline` 先 os.Stat 再开库——sql.Open 默认 READWRITE|CREATE，路径不存在时
会静默建一个空库，报出来的是「no such table」而不是「没有基线」，很难查。
用例 `TestExportClampsRawSampleCount`：造一条声称 999999 个采样点的到访，导出后断言
「任何一行的 ZRAW 都不超过包内采样行数」且该行仍在（只改计数、不丢记录）；变异验证：
关掉夹取立刻红。
|
2026-09-30 17:35:59 +08:00 |
|
|
tamakyi
|
5b8699a03a
|
重复到访：第二类（补录行被合并回来）不依赖基线，基线不可用时也照样能清
「补录行被合并回来」这一类的判据全在站点自己这边（派生 UUID 命中），本来不需要基线；
但原先的实现在读基线之前就 return 了，于是基线缺失 / 对不上的数据集连这一类都清不了。
现在先判第二类，基线的可用性检查只挡住第一类（站点侧副本），不可用时把说明补在卡片里
（有第二类就列出来 + 一行说明，没有就只给说明）。
模板相应合并成一个卡片：标题带对数、说明行只在有对时出现、判不了第一类时补一行灰字。
|
2026-09-30 15:19:42 +08:00 |
|
|
tamakyi
|
8dec973db1
|
修「补录行被合并回来」的重复：对账时认它的派生 UUID
成因链：站点补录的到访没有留档行（entity_raw 里没有它），也就没有 UUID；导出时会被补上
一个确定性 UUID v5("ZVISIT/<src_pk>") 写进包里，手机于是把它当成一条真记录；这份包再
合并回站点时，站点这侧没有 UUID 可对齐，DiffVisits 直接判成「备份新增」又插一条 ——
时间线上出现两条一模一样的到访（实测数据集 9 有 43 对，生产时间线一屏就有 53 对）。
- rond：把派生 UUID 抽成 DerivedUUID / DerivedVisitUUID / VisitMatchUUID（导出侧 coreDataUUID
复用同一个函数），差异与合并都拿它当对账键（diff.go 的 byUUID、backup_merge 的 storedByUUID）。
- 「时间 + 地点」兜底配对补 used 检查：同一条站点行现在两个索引里都有，不查会被 classify 两次。
- 数据编辑页的「重复到访」卡片认得这类（成因标「你补录的那条被合并回来的一份」），
清理时把副本名下的位移 / 天气**改挂**到保留项——补录行自己名下没有位移，跟着删就白丢里程；
派生 UUID 判定排在「站点侧副本」之前（证据更强）。
用例：rond 两条（正例 + 派生 UUID 不相配的反例）、web 一条端到端（造补录行与副本 → 检出 →
清理 → 断言位移与天气改挂、留档被清）。变异验证：去掉改挂语义、关掉该判定，两条都立刻红。
|
2026-09-30 15:02:45 +08:00 |
|
|
tamakyi
|
4597047989
|
口径：已并入 / 子段的到访不再计入时间线与统计（导出侧一个字节不动）
真机里两行到访可能「不独立成立」：ZMERGEDTO 指向它被并入的那条、ZPARENT 说明它只是某个
父段的一部分。app 对这两种行既不显示也不计数，本站以前当成普通到访 ⇒ 时间线上出现
「同一时刻同一地点两条」、日停留重复计入（实测数据集 9 有 64 条，26 条到达时间与原件相同）。
这些行**不能删**——导出要靠它们认这次合并发生过，所以判据只立一份 stats.SoloVisitSQL，
在读的一侧收口：visitsWhere / VisitsByPlace / Bookmarked / placeCols 子查询、首次到达城市、
地图极值点、专题（详情 + 列表批量）、三处聚合的 visit_count 与 dwell_minutes，
外加 schema.sql 一段幂等回填把存量库拉正。
天气与位移**不收口**（那几小时、那段路真实发生过）；导出侧一个字节不动（rond 只读
places.last_visit_at，保持全量，压根不读 visit_count / dwell_minutes）。编辑页照样列出
这些行，但打上「已并入 #562 / 子段 #374」，免得以为数据丢了。
顺带修两个自测抓出来的问题：
- ingest 的地点聚合回填排在 insertEntityRaw 之前 ⇒ 判据读到空留档 ⇒ 每行都算独立到访
（整整多算一个「已并入」的量）。
- 收口后 last_visit_at 保持全量，会凑出「0 次却有最近到访」（数据集 9 有 4 个地点），
展示侧按可见到访数兜住。
验收：304 PASS / 0 FAIL / 0 SKIP（新增 3 个用例：标记后导出仍带该行、存量回填拉正、
判据只出现在读侧）。
|
2026-09-29 21:15:25 +08:00 |
|
|
tamakyi
|
152af81f6a
|
编辑页：新增「重复到访」卡片 —— 以基线（手机包）为参照清掉站点侧的历史副本
站点库里有一批「到达时间 + 地点与手机包里某条完全相同、但 UUID 不同」的到访副本，
合并/差异按 UUID 认人会把它们当成备份新增，导出到 rond 就成了成对的两条重复记录。
判定与 tools/dedup_site_visits.py 同一套语义：UUID 是前提（只按时间+地点判会误删手机包
自身合法的成对条目）；基线跟本站一条都对不上时只给说明、不给按钮。清理在单事务里删
副本 + 其位移/天气/留档，并把指向副本的 ZMERGEDTO/ZPARENT 改指到保留项——只动本来
就有的那个键，工具那版会凭空补出一个 ZMERGEDTO（真机里是「已并入别处」，会白丢记录）。
顺带修一个「一补录天气就整包导出失败」的洞：rond 导出把 weather.is_daylight 扫进裸 bool，
而站点「新增天气」不写这一列 ⇒ NULL ⇒ sql.Scan 报错。改成 COALESCE(is_daylight,false)，
与导入侧读真机包同口径。
验收：301 PASS / 0 FAIL / 0 SKIP（新增 4 个用例，含变异验证：去掉 UUID 前提/改回
create_if_missing=true/不删副本位移，三种改法都被用例抓到）。
|
2026-09-29 19:17:29 +08:00 |
|