tamakyi/rond-with-you
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
77 Commits 1 Branch 0 Tags
2d46b8a0cad185c225abb8b538bb82546e0fd929
Commit Graph
12 Commits
Author SHA1 Message Date
tamakyi d4e4257a23 启动模板自检 + 站长导航放行 + 统计脚本关口收紧 
排查：/admin/settings 渲染到一半就断
- 现象：页面在「统计脚本」那张卡片处截断，没有保存按钮、没有 </form></html>，而 HTTP 仍是 200。
- 根因：跑的是旧二进制（改动前编译），磁盘上的模板却是新的。debug=true 下 pageSet()
  每次渲染都从磁盘重解析模板，于是新 settings.html 引用了旧 setting.Settings 里没有的
  TrackEnabled —— 执行期报错，而 render 只把错误写进日志，客户端只看到半张页面。
- 判据：strings <二进制> | grep -c cleanTrackScript（旧 0 / 新 2）。别用 strings | grep
  TrackScript —— config 里本来就有这个名字，旧二进制也命中，是个假信号。

启动自检（防复发）
- template_smoke.go：pageProbe 给 24 个页面各配一份最小可用数据，New() 里全部渲染一遍，
  任一页失败就拒绝启动。pageProbe 与 pageFiles 双向校验，新加页面必须补探针，
  漏配按失败处理（不是省事）。
- smokeOne 用 recover 兜住方法里的 panic，报「哪一页坏了」而不是崩栈。
- 实测：往 settings.html 插一个不存在的字段 → 启动即报
  「模板自检未通过…admin/settings: can't evaluate field …」，退出码 1。
- 门禁 template_smoke_test.go：一条跑全量自检，一条变异验证（探针换成字段更少的类型
  必须报错且点名该页）。

站长导航被页面开关误伤
- guardPage 只拦访客（站长始终能访问全部公开页），但导航写的是 {{if .Settings.HasPage "x"}}，
  没有 IsAdmin 分支 ⇒ 页面开关一关，站长自己也只剩「主页」一个入口 —— 能访问却点不到。
  改成 {{if or .IsAdmin (.Settings.HasPage "x")}}（map/places/timeline/stats/report 五处）。
- 门禁 nav_visibility_test.go：三向不变量（站长仍有全部入口 / 访客一个都没有 /
  全开放时访客也看得到），做过变异验证。
- 访客侧「只有主页」是按后台配置应有的状态，没有动数据。

统计脚本关口收紧（cleanTrackScript）
- src= 只在 <script …> 开标签内部找。原来对整段做 strings.Index，脚本体里一句
  `img.src=u` 就被命中、整段被判危险而清空 —— 页面照样提示「设置已保存」，站长看不出没挂上。
- 开闭标签从「只拒 shut > open」改成严格配平：末尾未闭合的 <script> 会把页面收尾整段吞进脚本。
- 不再静默：签名改成 (script, warn)，说明码经 ?warn= 回显成人话；判为危险时整段不采纳、
  库里原脚本与开关都不动（把站长手上好用的脚本一并清掉更糟）。
- 门禁 TestCleanTrackScript 重写：逐条边界 + 定义性不变量（采纳了非空结果时，
  里面开闭标签数必定相等）+ TestTrackWarnMessage（未识别码不得回显）。变异验证做过。
- 文案订正：settings.html 的「conf/app.ini 的 track_script 会作为这里的默认值」有歧义 ——
  它不回填文本框，而是「这个框留空时、注入那一刻才回落到 ini」。

其余
- bin/ 目录删除（15 个 exe / 412MB），二进制只留仓库根 rond.exe；
  技能 rond-web-verify 与 memory details 十八里 bin/rond.exe 的写法同步改掉。
- 验收：./scripts/verify.sh 全绿且 0 skip（PASS=346 FAIL=0 SKIP=0）。
 2026-10-09 11:06:41 +08:00
tamakyi 770e752a7a 图片恢复支持对象存储（R2）；专题也改成归人不归数据集 
R2 上的图怎么救：库里的行没了就只剩桶里有那些键，不列桶无从得知它们叫什么。
给 internal/media 加了 ListObjects（ListObjectsV2 + SigV4 + 自动翻页 + XML 解析）：
- 路径式访问、请求只到桶；查询串必须**先百分号编码再签名**（canonicalQuery 按原样取
  RawQuery，两边得是同一份字节，prefix 里的 / 要写成 %2F）。
- ⚠️ R2 的 API Token 默认只给对象读写，没有 s3:ListBucket 就 403。列桶失败**不让整个
  恢复失败**：本地那半照救，原因进 Warnings、页面用红色提示条显示（否则站长会以为恢复完了）。
- 候选对象 = 本地目录 ∪ 桶里 .webp（同键以本地为准）；行的 storage 按「对象实际在哪」写，
  bytes 用桶里报的 Size。另加一条 warning：挂回了却没配 s3_public_base ⇒ 行有了页面空白，
  这比「没恢复」更难懂。

专题（用户拍板「一并做」）：topics.dataset_id 同样带 CASCADE，删数据集带走专题，而专题
只存在这张表里、没有恢复来源。外键摘掉，所有查询 dataset_id → user_id（loadTopics、
topicPage、保存/删除/开关、pageBase.HasTopics）；**内容仍照当前生效数据集算**
（topicContent 不动）——变的是「这份定义归谁」。Dataset 补 UserID 供前台按属主定位
用户级数据；管理专题不再要求有生效数据集。

导出链路未改动：place_images / topics / Dataset.UserID 都不参与 .rondbackup 导出，
全量验收（含导出保真、ZRAW 夹取、编号对齐那批）PASS=331 FAIL=0 SKIP=0。
 2026-09-30 23:31:17 +08:00
tamakyi 496c992e5e 图片不再随数据集删除：加「图片挂载恢复」，place_images 摘掉外键 
用户报「之前上传的照片找不到了，应该是因为清了应用数据换基线」。查下来与 App 侧无关，
是站点自己两套口径打架：

- place_images.dataset_id 带 ON DELETE CASCADE，而读取按 place_key 坐标键、跨数据集。
- 于是删掉旧数据集时图片**行**被级联删了，**文件却留在 media 目录里**。
- 实测（本机）：datasets 只剩 155 号、place_images 0 行、盘上 4 个 .webp 好端端躺着。
  同一批附属数据里备注（17）与结论（3+1）因为早就迁到坐标键，毫发无损——只有图片倒霉。

三件事：

1) 恢复：后台首页「图片挂载恢复 → 扫描并恢复」（POST /admin/images/recover，
   internal/web/image_recovery.go）。只插行、不删文件、不看数据集，按 object_key 判重可反复点。
   认地点两处来源：数据集还在就查它的 places；数据集已删就读它留下的 baselines/<id>.sqlite
   还原「地点号 → 坐标」。对象键两种历史布局都认（<ds>/<YYYYMM>/<srcPK>-<hash>.webp 与
   <ds>/<srcPK>/<hash>.webp）；判据先看文件名有没有 `<数字>-` 前缀，再看中间目录——
   地点号也可能刚好 6 位，只看位数会认错。

2) 防复发：CREATE TABLE place_images 去掉外键 + 幂等 DROP CONSTRAINT；删图接口不再按
   dataset_id 过滤（数据集删了也得能删图）；「删除数据集」的二次确认文案改成实话。

3) 报告同类陷阱（未改）：topics 仍带 CASCADE，专题随数据集一起删且没有恢复来源。

测试踩到的坑：图片「按坐标键跨数据集读」+「按 object_key 判重」都不看数据集，用例之间会
互相污染两处——盘上文件（报「应当 2 张、实际 10 张」）与库里的行（Already:1 让兜底分支
根本没跑到，用例差点假绿）。加 isolateImageState（换空 DataDir + 按 place_key 清历史行），
并给夹具补收尾清理（外键没了必须自己清）。

新增用例 4 条；验收：./scripts/verify.sh 全量 PASS=323 FAIL=0 SKIP=0。
 2026-09-30 19:45:51 +08:00
tamakyi 6ff6f944a1 换基线：把「底座换代」做进后台（站点数据一行不动） 
导出是「底座为底 + 只覆盖托管表」，所以底座必须是手机导出的包。底座跟着数据集走，
手机重新导出后想换代，以前只能整包重新导入成新数据集（站点补录的行、主题、备注都得重收拾）。
新动作 /admin/baseline（后台首页加入口）就是给同一份数据的底座换代用的。

三道闸，顺序不能挪：
1. 重合判据：新包里的到访 UUID 与站点侧带 UUID 的到访比。一条都对不上直接拒
   （连 force 也不给过）——干跑只验结构，一份不相干的包照样导得出，但换下去站点
   每行都在新底座里认不出身份，全按新行插到最大编号之后，真机上就是「这些到访
   全变成新的」。重合率不到一半要显式确认；判据没过不当场报错了事：包已经收进
   uploads，页面给一个「我确认，强制替换」按钮，不必重传几十 MB。
2. 干跑导出：底座缺表/缺实体编号在这步挡住，不会出现「换完了才发现导不出、
   原来那份已经不知去哪」。
3. 旧底座留档 + 记档，换错了可一键回滚。

两个坑：
- 留档名不能只用秒级时间戳。「替换后紧接着回滚」落在同一秒时，回滚那次 rename 会把
  刚生成的留档覆盖掉，于是回滚回了个寂寞（TestRollbackBaselineRestoresPrevious 当场红）。
  改用 baselineBackupName()：20060102-150405 + 冲突自增。
- ensureBaseline 必须先看记档。只认 datasets.sha256（= 最初那份包）的话，底座一丢就静默
  重建回旧包，上一次换基线白做且毫无提示。抽出 ensureBaselineTo(ctx, dsID, dst) 共用；
  「重建」入口写临时文件再 rename，不做破坏性删除。

回归用例 7 条（internal/web/baseline_swap_test.go）：成功路径断言「换底座前后导出包里
ZVISIT 的 UUID 集合逐条一致」——编号会换、身份不该换，谁在底座里没对上立刻亮；
记档优先重建带反证（清掉记档后同一条路必须走不通）；部分重合需确认、完全对不上 force
也不给过、非包文件第一步就挡住、回滚还原且当前那份也留档、页面渲染到底。

验收：./scripts/verify.sh 全量 PASS=318 FAIL=0 SKIP=0。
 2026-09-30 19:00:18 +08:00
tamakyi 152af81f6a 编辑页：新增「重复到访」卡片 —— 以基线（手机包）为参照清掉站点侧的历史副本 
站点库里有一批「到达时间 + 地点与手机包里某条完全相同、但 UUID 不同」的到访副本，
合并/差异按 UUID 认人会把它们当成备份新增，导出到 rond 就成了成对的两条重复记录。
判定与 tools/dedup_site_visits.py 同一套语义：UUID 是前提（只按时间+地点判会误删手机包
自身合法的成对条目）；基线跟本站一条都对不上时只给说明、不给按钮。清理在单事务里删
副本 + 其位移/天气/留档，并把指向副本的 ZMERGEDTO/ZPARENT 改指到保留项——只动本来
就有的那个键，工具那版会凭空补出一个 ZMERGEDTO（真机里是「已并入别处」，会白丢记录）。

顺带修一个「一补录天气就整包导出失败」的洞：rond 导出把 weather.is_daylight 扫进裸 bool，
而站点「新增天气」不写这一列 ⇒ NULL ⇒ sql.Scan 报错。改成 COALESCE(is_daylight,false)，
与导入侧读真机包同口径。

验收：301 PASS / 0 FAIL / 0 SKIP（新增 4 个用例，含变异验证：去掉 UUID 前提/改回
create_if_missing=true/不删副本位移，三种改法都被用例抓到）。
 2026-09-29 19:17:29 +08:00
tamakyi b4c2a8452f 审计修复：后端（安全 / 数据一致性 / 性能） 
audit-2026-09-21.md 里的后端条目落地。每条都配了回归守卫，并逐条做过变异验证
（注入原 bug → 确认按正确理由变红 → 还原 → 变绿）。

安全
- CSRF 只加同源 Origin/Referer 守卫（csrf.go），不动模板
- 会话 cookie 的 Secure 按请求判断；两步验证两闸（loginGuard + 验证码一次性）
- 跳转收口到 safeInternalPath；clientIP 只认 XFF 最后一段
- GPX 按属主圈定且查 RowsAffected；下载名走 downloadDisposition
- 上传口统一 MaxBytesReader；落盘后的失败路径清掉半成品

数据一致性
- 区域判定两端各过一遍再 AND（apiTrack 与 movementsWhere 对齐）
- Filter.Verdict 全域一致（下推到 visitsWhere）；聚合刷新必须返回 error
- 附属数据改挂坐标键，Go 与 SQL 两套表达式逐位一致
- 脏备份的伪时间/越界坐标不再进领域模型；rows 循环统一 drainRows
- 合并与导出：writeRawRow 上抛错误、悬空引用清理、原生列补全

性能
- placeCols 相关子查询带 dataset_id 前导列；findSourceArchive 先按大小筛
- 批量勾选改 ANY($3::bigint[])；fillupCache 加上限；同一查询不再查两遍

另：新增「全新库」冒烟测试 —— 空库跑完 Migrate 再用应用侧读查询真打一遍，
迁移块排到依赖表之前这种错只有新库会炸，老库毫无症状。
 2026-09-24 20:37:16 +08:00
tamakyi 82e63412c0 类别显示名可自己维护，顺手把两套对不上的中文名合成一套 
你要改的那个「海滩」原来根本不在数据里——它是 Go 里硬编码的 map，所以改不动。
更糟的是这样的 map 有**两张**，而且对不上：

  MKPOICategoryFoodMarket   菜市场（编辑页）  /  食品市场（补全页、GPX）
  MKPOICategoryCafe         咖啡馆              /  咖啡厅
  MKPOICategoryFitnessCenter 健身房             /  健身中心
  外加 ATM / Atm 大小写各写一份、一条永远匹配不上的 MKPOICategoryMarina2

现在合成一张内置表（42 条，冲突处取编辑页那套），并在它上面加了一层站点覆盖：

- 新表 category_labels(value, label)，站点级、不挂 dataset——值本身才是稳定键
- 端点 POST /admin/edit/category/label；传空 label = 删掉覆盖行、恢复内置默认名
- 类别台账那行改成两个带标签的输入框：
      导出值 [MKPOICategoryBeach]   ← 会跟着导出写回手机
      显示名 [               ]      ← 只影响站内显示，placeholder 写着默认值
  是 MKPOICategory 枚举但内置表里没有的，会提示「填一个中文名」，这就是你要的补全入口

**显示名绝不写进 places.poi_category**——中文跟着写进去就把导出数据污染了，
专门加了 TestCategoryLabelNeverTouchesValue 钉这条。显示名会贯穿到所有中文名的地方：
编辑页/照片页/补全页的下拉、补全页「在用」标签、访客地点页、GPX 的 desc。

连带删掉两个绑在旧表上的模板函数 catName / poiname：模板里算不出显示名（要读站点覆盖），
改成在 Go 侧算好塞进数据（FillupRow.CatLabel、PlaceData.CategoryLabel）。
 2026-09-20 10:54:51 +08:00
tamakyi da6fe54ab4 数据编辑页加「活动与类别」卡片：改名 / 删除 / 新增 / 合并 
活动的管理能力其实后端早就有（create/update/delete 三个端点），但入口只藏在
「到访记录」卡片里——要先在下拉里选中某个活动，再点按钮弹 prompt，看不见
「哪些活动一条到访都没挂」（实测有 0 条的活动）；类别则完全没有集中入口。

现在页首多了一张卡片（唯一默认展开的），两个表格都带用量：

- 活动：名称行内改、删除（有引用时二次确认并报条数）、新增，
  另有一条「把[A]并到[B]」——改名解决不了「两个名字指同一件事」，
  合并会把到访转过去、把 is_home/is_work 抄成目标的，再删源活动、清它的原始行留档。
- 类别：类别没有独立的表，值就长在 places.poi_category 上，所以「改名 / 清空」
  都是按值批量作用到地点；改成另一个已有值就是合并，不另做按钮。

新增端点：/admin/edit/category/rename、/admin/edit/category/clear、
/admin/edit/activity/merge。编辑页那条 DISTINCT poi_category 查询顺手改成
GROUP BY 带计数，一份数据两用。

顺带修一处会静默失效的写法：新表原来只写了 tb-stack，漏了配对的 tb，
而 CSS 全是 `.tw > table.tb.tb-stack …` ⇒ 一条堆叠规则都没命中，窄屏下表仍是
640px 底宽。横滑是在 .tw 里滚的、页面不溢出，肉眼很难发现，守卫测试也只查
「有没有 tb-stack」——已补上「有 tb-stack 必须有 tb」并做了变异验证。
 2026-09-20 09:51:43 +08:00
tamakyi 6c061a0548 地点补全：按地名与坐标猜活动与类别，只填空 
后台新增「地点补全」页，把「名下到访没设活动」和「类别为空」的地点列出来，
给出建议、由站长确认后再写。判断分三层：

- 本地关键词表：零延迟、离线，命中即高置信（「星巴克咖啡」→ 奶茶和甜甜水）
- 高德周边搜索：按坐标问「这里是什么 POI」，比按名字搜准；
  拿到的类型再映射成活动与 MapKit 类别
- 人工：都猜不出的留空，站长自己填；填了列表里没有的名字会自动建成新活动类型

两条底线：**只填空**（已有活动或类别的一律不动）；**活动按地点批量设**，
一次把它名下所有没设活动的到访一起填上，否则同一个地点会在统计里分裂成两种活动。

类别写的是 Apple MapKit 的枚举名（真机确认用过 12 种），不是高德分类。

规则上踩过两个坑，都写进注释了：匹配前要先掐掉括号里的地址（否则
「尚优居客栈(大理古城步行街店)」会命中「步行街」），并且按词长优先
（否则「马鞍山公园」会命中「山」）；单字关键词一律不要，误命中率太高。
 2026-09-19 16:31:01 +08:00
tamakyi 30c502ce7b 备份与迷雾的差异分析、合并执行，附属数据改挂坐标键 
备份（.rondbackup）与迷雾（.fwss）各加一层「先看差异再动手」：

- 迷雾：上传先出差异页，说清叠加能补多少、整体替换会丢多少，并在真实底图上
  用绿/灰/红标出会新增 / 不变 / 会丢的区域
- 备份：与当前数据集按 UUID 逐条比对（rond 每次导出都会重排 Z_PK，编号认不出人），
  新增合入、冲突逐条选、仅站内有逐条勾选删除，全在一个事务里执行；
  合入的行写回 entity_raw，保证再传同一份备份时差异归零
- 地点按坐标对齐：站点的「补全地址」会把地点改名，拿名称当键会让一整个地点的
  到访全变成假冲突
- 附属数据（备注/结论/访客票/图片）从 dataset_id+src_pk 换成坐标键，换数据集不再失联；
  访客票没有 dataset_id，回填按活跃数据集认领
- 修正 contentHash 拿 Z_PK 当指纹的隐患，以及两处「src_pk 跨快照稳定」的错误注释

导出格式（.rondbackup / .fwss）保持原样，往返测试通过。
 2026-09-19 16:04:00 +08:00
tamakyi ad2531c113 修复图片上传分类无法新增、潜在movementWindow容差问题、404页面未生效问题 2026-09-18 17:06:22 +08:00
tamakyi b327bc1230 first release 2026-09-18 13:05:49 +08:00