tamakyi/rond-with-you
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
76 Commits 1 Branch 0 Tags
b40160867e3f6fd17746e116be29bdc10f97a11b
Commit Graph
7 Commits
Author SHA1 Message Date
tamakyi 8dec973db1 修「补录行被合并回来」的重复：对账时认它的派生 UUID 
成因链：站点补录的到访没有留档行（entity_raw 里没有它），也就没有 UUID；导出时会被补上
一个确定性 UUID v5("ZVISIT/<src_pk>") 写进包里，手机于是把它当成一条真记录；这份包再
合并回站点时，站点这侧没有 UUID 可对齐，DiffVisits 直接判成「备份新增」又插一条 ——
时间线上出现两条一模一样的到访（实测数据集 9 有 43 对，生产时间线一屏就有 53 对）。

- rond：把派生 UUID 抽成 DerivedUUID / DerivedVisitUUID / VisitMatchUUID（导出侧 coreDataUUID
  复用同一个函数），差异与合并都拿它当对账键（diff.go 的 byUUID、backup_merge 的 storedByUUID）。
- 「时间 + 地点」兜底配对补 used 检查：同一条站点行现在两个索引里都有，不查会被 classify 两次。
- 数据编辑页的「重复到访」卡片认得这类（成因标「你补录的那条被合并回来的一份」），
  清理时把副本名下的位移 / 天气**改挂**到保留项——补录行自己名下没有位移，跟着删就白丢里程；
  派生 UUID 判定排在「站点侧副本」之前（证据更强）。

用例：rond 两条（正例 + 派生 UUID 不相配的反例）、web 一条端到端（造补录行与副本 → 检出 →
清理 → 断言位移与天气改挂、留档被清）。变异验证：去掉改挂语义、关掉该判定，两条都立刻红。
 2026-09-30 15:02:45 +08:00
tamakyi 8763b850be 合并：地点配对只留一份实现（rond.MatchPlaces），合并侧不再自己配一遍 
- 抽出 rond.MatchPlaces(stored, backup) PlaceMatch：坐标优先、退到「同名且相距 ≤1km」、
  多值索引 + 认领即标记已用；DiffPlaces 与 web.mergePlaces 共用它。
- mergePlaces 原来是单槽位 byCoord/byName 自己再配一遍：同坐标/同名的多条备份地点全并到同一行
  站内地点，到访被挂到错的分店（实测「茶颜悦色」两家分店相隔 8.3km，到访却指着同一条）。
  现在直接用配对结果，再叠加 plan.AddPlaces 的新插入。
- loadStoredPlaces 与 mergePlaces 的地点查询都加 ORDER BY id：候选多于一个时靠顺序定谁配谁，
  两侧必须一致，否则配对会飘。
- 删掉只写不读的 PlacePatch.CoordKey、ActivityPatch.Key（容易被误当成查找键）。
- 用例：TestMatchPlacesKeepsDuplicateNameGroupsDistinct（同一坐标/邻近同名都要一条配一条）、
  TestMergePlacesMapsSameNameLocationsOneToOne（真库 + 真事务，两条同名备份地点必须映射到两条不同
  地点）；两处都做了变异验证（认领不标记已用 / 恢复单槽位映射 → 对应用例变红）。
- 探针库复测（从 dump 恢复、不动本地真库，49 组冲突全「用实机」）：到访挂错地点（>1km）0/953 条、
  地点被搬动 >1km 0 个；合并后再比对三类全 0（到访 0/47/0、地点 0/4/0、活动 0/0/0），
  再点合并「按当前的选择没有要写入的改动」。全量验收 293 PASS / 0 FAIL / 0 SKIP。

已知取舍：勾「用实机」但没勾「并进来」时，若该到访在实机上的地点站内没有、且按 1km 规则也配不上，
place_id 会被置空（旧行为是挂到一条远方的同名地点上——那正是这次要去掉的错配）。
 2026-09-29 10:46:54 +08:00
tamakyi 370c4285f8 合并：按名称兜底配对加 1km 上限，冲突行在名称相同时把坐标印出来 
- DiffPlaces 的 takeByName 只在两点相距 ≤1km 时才认领：名称不是唯一键，连锁店同名是常态
  （真机里「中国体育彩票」3 条、「长沙南站」2 条、「茶颜悦色」2 条）。没有上限时，坐标配不上
  的两条同名地点会被强行配成一对——实测把佛山的「中国体育彩票」配给了贺州那条（直线 236.8km），
  站长勾「用实机」就把站内那条地点的坐标搬到另一座城市（实测 src_pk=71 从贺州搬到佛山）。
  注意 geo.Haversine 返回的是公里，常量按公里写。
- visitFieldChanges 的「地点」在两边名称相同时用 coordSuffix 把坐标印出来：这一项比的是坐标，
  只印名称会渲染成「X → X」，站长看不出差在哪（连锁店重名、同一地点两边坐标略有出入都会走到这里）。
- 新增用例 3 条（相隔 236.8km 不该配对、665m 仍要配对、名称相同时必须带坐标）+ 变异验证。
- 复测（回滚后按浏览器默认全选「用实机」重跑）：被搬动超过 1km 的地点从 1 个变 0 个；
  合并后再比对 到访 0/47/1、地点 0/4/1、活动 0/0/0；953 条 UUID 到访全命中、到达时间 0 偏差。
 2026-09-29 10:18:22 +08:00
tamakyi 10d23e03cf 合并：重复地点不再反复判「备份新增」，到访的活动改按身份比 
- DiffPlaces 的 byCoord/byName 改为多值索引 + take() 逐条认领未用项：真机一个坐标下会有
  多条同名同坐标的地点（实测「柳州站」3 条），单槽位时同一坐标最多只配上 2 条，第 3 条
  永远判「备份新增」⇒ 每次合并都再插一条重复地点、差异永远归不了零（实测 368→438→439）。
  修完：地点新增 70→67、合并后再比对归零、再点合并直接「没有要写入的改动」。
- 到访的「活动」由按名称比改为按身份（ZUID_）比，两边都缺 UUID 才退回名称：16 个活动改名
  曾把 355 条到访全变成同因冲突，且逐条选「用实机」只写回 activity_id（映射回同一个活动）
  改不掉名字。loadStoredVisits 为此多 JOIN 一次 entity_raw 取 ZACTIVITY.ZUID_。
- 回归用例 4 条（重复地点一一配上、活动改名不算冲突、换活动仍要报、缺 UUID 退回名称）+
  「合并后地点差异归零」断言 3 处；两处改动都做过变异验证。
- 实测（09-28 备份并进 09-14 数据集）：到访冲突 253→6，合并两次地点数 438→439 变为 435→435。
 2026-09-28 19:31:21 +08:00
tamakyi 05c6e970db 测试：补 rond 合并冲突与 gpx 解析用例，删两处死代码 2026-09-24 22:48:22 +08:00
tamakyi b4c2a8452f 审计修复：后端（安全 / 数据一致性 / 性能） 
audit-2026-09-21.md 里的后端条目落地。每条都配了回归守卫，并逐条做过变异验证
（注入原 bug → 确认按正确理由变红 → 还原 → 变绿）。

安全
- CSRF 只加同源 Origin/Referer 守卫（csrf.go），不动模板
- 会话 cookie 的 Secure 按请求判断；两步验证两闸（loginGuard + 验证码一次性）
- 跳转收口到 safeInternalPath；clientIP 只认 XFF 最后一段
- GPX 按属主圈定且查 RowsAffected；下载名走 downloadDisposition
- 上传口统一 MaxBytesReader；落盘后的失败路径清掉半成品

数据一致性
- 区域判定两端各过一遍再 AND（apiTrack 与 movementsWhere 对齐）
- Filter.Verdict 全域一致（下推到 visitsWhere）；聚合刷新必须返回 error
- 附属数据改挂坐标键，Go 与 SQL 两套表达式逐位一致
- 脏备份的伪时间/越界坐标不再进领域模型；rows 循环统一 drainRows
- 合并与导出：writeRawRow 上抛错误、悬空引用清理、原生列补全

性能
- placeCols 相关子查询带 dataset_id 前导列；findSourceArchive 先按大小筛
- 批量勾选改 ANY($3::bigint[])；fillupCache 加上限；同一查询不再查两遍

另：新增「全新库」冒烟测试 —— 空库跑完 Migrate 再用应用侧读查询真打一遍，
迁移块排到依赖表之前这种错只有新库会炸，老库毫无症状。
 2026-09-24 20:37:16 +08:00
tamakyi 30c502ce7b 备份与迷雾的差异分析、合并执行，附属数据改挂坐标键 
备份（.rondbackup）与迷雾（.fwss）各加一层「先看差异再动手」：

- 迷雾：上传先出差异页，说清叠加能补多少、整体替换会丢多少，并在真实底图上
  用绿/灰/红标出会新增 / 不变 / 会丢的区域
- 备份：与当前数据集按 UUID 逐条比对（rond 每次导出都会重排 Z_PK，编号认不出人），
  新增合入、冲突逐条选、仅站内有逐条勾选删除，全在一个事务里执行；
  合入的行写回 entity_raw，保证再传同一份备份时差异归零
- 地点按坐标对齐：站点的「补全地址」会把地点改名，拿名称当键会让一整个地点的
  到访全变成假冲突
- 附属数据（备注/结论/访客票/图片）从 dataset_id+src_pk 换成坐标键，换数据集不再失联；
  访客票没有 dataset_id，回填按活跃数据集认领
- 修正 contentHash 拿 Z_PK 当指纹的隐患，以及两处「src_pk 跨快照稳定」的错误注释

导出格式（.rondbackup / .fwss）保持原样，往返测试通过。
 2026-09-19 16:04:00 +08:00