用户报「之前上传的照片找不到了,应该是因为清了应用数据换基线」。查下来与 App 侧无关, 是站点自己两套口径打架: - place_images.dataset_id 带 ON DELETE CASCADE,而读取按 place_key 坐标键、跨数据集。 - 于是删掉旧数据集时图片**行**被级联删了,**文件却留在 media 目录里**。 - 实测(本机):datasets 只剩 155 号、place_images 0 行、盘上 4 个 .webp 好端端躺着。 同一批附属数据里备注(17)与结论(3+1)因为早就迁到坐标键,毫发无损——只有图片倒霉。 三件事: 1) 恢复:后台首页「图片挂载恢复 → 扫描并恢复」(POST /admin/images/recover, internal/web/image_recovery.go)。只插行、不删文件、不看数据集,按 object_key 判重可反复点。 认地点两处来源:数据集还在就查它的 places;数据集已删就读它留下的 baselines/<id>.sqlite 还原「地点号 → 坐标」。对象键两种历史布局都认(<ds>/<YYYYMM>/<srcPK>-<hash>.webp 与 <ds>/<srcPK>/<hash>.webp);判据先看文件名有没有 `<数字>-` 前缀,再看中间目录—— 地点号也可能刚好 6 位,只看位数会认错。 2) 防复发:CREATE TABLE place_images 去掉外键 + 幂等 DROP CONSTRAINT;删图接口不再按 dataset_id 过滤(数据集删了也得能删图);「删除数据集」的二次确认文案改成实话。 3) 报告同类陷阱(未改):topics 仍带 CASCADE,专题随数据集一起删且没有恢复来源。 测试踩到的坑:图片「按坐标键跨数据集读」+「按 object_key 判重」都不看数据集,用例之间会 互相污染两处——盘上文件(报「应当 2 张、实际 10 张」)与库里的行(Already:1 让兜底分支 根本没跑到,用例差点假绿)。加 isolateImageState(换空 DataDir + 按 place_key 清历史行), 并给夹具补收尾清理(外键没了必须自己清)。 新增用例 4 条;验收:./scripts/verify.sh 全量 PASS=323 FAIL=0 SKIP=0。
11 KiB
11 KiB
rond-with-you 硬规矩(索引)
全文:
.workbuddy/memory/MEMORY-details.md(36 节);验证机制:技能rond-fix-verify;备份包解析/导出:技能rond-backup-parse。本文件只做关键词索引——新规矩写 details,别堆这里。⚠️ 本文件按字符数注入,硬上限
MAX_MEMORY_CHARS = 1e4(WorkBuddyapp.asar里getWorkingMemoryContent;中文 1 字算 1,不是按字节)。超了会被substring(0,1e4)截断并写明「先整理再干活」——即整段尾部静默丢失。日常日志与本 details 不参与注入,可以随便写。现值见wc -m,留 20% 余量。
落库 / 精度(details 一、四、五、十六、十九、廿八A)
- 建地点+到访同一事务;新行号只走
nextSrcPK+clearStaleRaw,禁MAX(src_pk)+1。seq_test.go - 行程派生列同导入(
validateMovementForm):from/to_place_id(留空=绕过区域过滤直露访客)、distance_km、duration_min。 - 表单精度低于真值 ⇒ 只改备注也静默改时间/坐标:
keepStoredTime/resolveMovementEnd/keepStoredCoord;改到访时间须clampVisitMovements夹行程。 src_pk只单数据集内有效;跨备份键=ZIDENTIFIER_/ZUID_;contentHash别用SrcPK|Arrival。- 坐标留档
coord_source/coord_sys/src_lat/src_lon;换算只走 geo 包与/api/coords。 - 脏数据:
appleTime超范围浮点转 int64 回绕非饱和(先卡秒数);validCoord非法归(0,0)。dirty_test.go - 聚合刷新(
saveVisitTags/refreshPlaceAgg/refreshDatasetAgg/activityFlags)必须返回 error。agg_error_test.go - 收藏切换走单语句
UPDATE … RETURNING bookmarked。visit_bookmark_test.go
rond 导出(details 二、廿六)
- 铁律:PG 覆盖管理列、
entity_raw还原其余列;基线已有行保真机原值(keepNilCols+known[pk])。 - 新行只补
ZRAWLATITUDE/LONGITUDE、ZVISIT.ZIDENTIFIER_/ZACTIVITY.ZUID_(确定性=表名+src_pk)、ZICON_、ZLASTARRIVALDATE_哨兵-63114076800。 ZMOVEMENT.ZTYPE_不能 NULL、别当管理列(会洗掉 type=4);queryTransports必须GROUP BY transport_src。- rows 收尾必须
drainRows(先Err()再Close())。parse_rows_test.go - 扫进裸
bool的列必须先COALESCE:weather.is_daylight漏写 ⇒ NULL ⇒ 整包拒收(details 卅C)。 - 核对导出包别按留档 UUID 找行:站点新建行会被补派生 UUID(
coreDataUUID)。 - 换基线(底座换代,
/admin/baseline):站点数据一行不动,只换底稿。判据=到访 UUID 重合率(matched==0硬拒)+ 干跑导出;记档datasets.baseline_*,ensureBaseline必须先看记档;留档名必须防重名(秒级时间戳会让回滚覆盖掉刚生成的留档)。baseline_swap_test.go(details 卅三)
迷雾 / 遮罩(details 三、九、十、廿二)
.fwss=zip、条目 zlib;Model/*/=头 32768B+每块 515B;Model/~/、Model/#/原样写回;清空/替换都要连fog_raw_files。- 导入三段式(preview 暂存 → 差异页现算 →
?stash=落地);带 stash=urlencoded、无 stash=multipart 两条都留。 fog_masks圆心 GCJ-02+半径,判定前换 WGS-84 网格;遮罩只对访客;stats.Filter有两套 where(visitsWhere+movementsWhere),漏一个=「到访藏了里程还在」。- 瓦片须与底图同
crs;带地图页须p.HasMap=true。 tileDigits补前导 0;tileName尾缀len(s)-2单数字编号时为 -1 ⇒ panic;解码守卫len(name)<8。fogIndexV必须atomic.Pointer(普通指针=真 data race)。fog_race_test.go(-race)
前端 / 模板 / CSS(details 六~八、十七、廿三、廿八D)
- 改 Go 必须重启;模板/CSS/JS 只在
debug=true热加载(AssetV启动哈希)。 - 拼查询串走返回
template.URL的方法(PlaceLink/EditPlaceLink/MapLink/EditLink),勿手工转义。 - 窄屏覆盖写
app.css末尾那块;宽表堆叠类名成对class="tb tb-stack";触控 44px。tb_stack_test.go - 加表格列:
PlaceCols/scanPlace成对、新列追加最后;CJK 挤换行只抬该表min-width。 - ⚠️ 模板 JS 别用「heredoc+python」写
\n(<script>语法错、交互全哑而模板测试照过);用 Edit,改完 CDP 验 JS 报错为空。inline_script_test.go - 只在访客复现的 bug:先比「无 cookie 原始 HTML vs CDP 后 DOM」;别让 JS 从
{{if .IsAdmin}}块读 id。 - 异步回包一律发序号作废:
var seq=++xxxSeq;在if(!on) return;之前,回包首行if(seq!==xxxSeq) return;。map_async_cancel_test.go window.localStorage一律经lsGet/lsSet(隐私模式裸访问会抛);previewQueue[id]须在if (live)之前排队、回调消费后删。
编辑页 / 重复到访(details 三十)
- 「重复到访」卡片:判定与
tools/dedup_site_visits.py同语义、UUID 是前提、基线对不上就不给按钮;改指合并标记只动本来就有的键(create_if_missing=false)。dup_visits_test.go - 已并入 / 子段(
ZMERGEDTO/ZPARENT)只在读侧收口,判据唯一一份stats.SoloVisitSQL;天气与位移不收口;导出侧一字节不动。收口点清单见 details 卅G。 - 相对计数断言会假绿(变异让基准值一起膨胀),必须写定义性不变量;
render是流式直写,code==200不等于渲染完。 - ⚠️ ingest 地点聚合回填必须排在
insertEntityRaw之后(判据读 entity_raw)。
活动 / 类别(details 廿四、廿五)
- 活动是表,类别不是——类别只是
places.poi_category字符串列;显示名绝不写进该列(TestCategoryLabelNeverTouchesValue),走categoryLabel(v,custom),Go 侧算好塞。 - 站内新建行
entity_raw.raw IS NULL;ZCATEGORY_真机只有MKPOICategoryXxx枚举。 - 类别候选:编辑/照片页=库里在用
GROUP BY;补全页=在用 ∪ 静态表;下拉留「其它(自己写)」,默认「不动」。
跨备份 / 附属数据(details 十九~廿一、卅四)
- 预演按
VisitUUID/ActivityUUID对齐、只读;raw #>> '{ZIDENTIFIER_,$blob}'是 base64 须转 hex 比;地点只认坐标(PlaceCoordKey6 位)。 - 附属数据(备注/投票/图片)主键=
place_key坐标键(非 dataset+src_pk);Go 与 SQL 两套须逐位一致。 - ⚠️ 附属数据不能挂数据集外键:
place_images曾按dataset_idCASCADE ⇒ 删旧数据集=删图片行、文件却留在盘上(读取按坐标键、行按数据集级联,两套口径打架)。已摘掉外键;恢复走后台「图片挂载恢复」,认地点靠旧数据集留下的baselines/<id>.sqlite(别清 baselines 目录)。image_recovery_test.go(details 卅四) - ⚠️
topics仍带 CASCADE(专题随数据集删掉、无恢复来源)——同类陷阱,待拍板。 - ⚠️
schema.sql迁移块必须收敛且排在依赖表之后(插在place_images前:开发库无症、新库起不来)。 - 合并
backup_merge.go:整个withTx、不删除;新行*_visit_src写库里的 src_pk;必须writeRawRow;删地点前先查有无到访(CASCADE)。
后端 / 性能(details 十、廿八C)
findSourceArchive先按size_bytes筛再算 sha256(pickArchiveBySha)。池 8/8 +db.WarmUp(d,6);页面内查询runJobs(≤6);别用fog.Index.All();改遮罩须masks.invalidate()+fogTiles.clear()。placeCols子查询必须带vN.dataset_id=p.dataset_id。stats/placecols_test.go(按子查询分段判)- multipart handler 直接
ParseMultipartForm(r.ParseForm()毒化字段);之前必须MaxBytesReader。五个上传口:备份/GPX/迷雾/照片/地点图片。 - 包了
ResponseWriter必须实现Unwrap()(gzipWriter/headerSent);recover写错误页前须看headerSent。server_error_test.go - 「先落盘再解析」的上传 handler,落盘后每条失败路径都要删半成品。
upload_cleanup_test.go - 批量勾选走
*Bulk+p.src_pk = ANY($3::bigint[])(pgx 直接吃[]int64);全局内存缓存必须带上限(fillupCacheFIFO 淘汰最旧 1/4);同一查询别在一个 handler 里查两遍。admin_notes_bulk_test.go+fillup_cache_test.go+stats_weekday_once_test.go - 加
setting字段改三处:Default()/Load()/settingsSubmit()。
安全 / 跳转(details 廿八B)
- 跳转唯一判据
safeInternalPath(view.go);四处共用。redirect_target_test.go(含禁弱判据静态扫描) - cookie
Secure按请求判断(cookieSecure),否则本机 http 与 CDP 都登不进。 - CSRF 只加同源 Origin/Referer 守卫(
csrf.go):仅写方法、Origin: null拒、两头都缺放行。 clientIP只认 XFF 最后一段(须netip.ParseAddr);⚠️ 投票匿名身份=hash(cookie,IP)⇒改取法即改身份。- GPX 按属主收口:
/api/gpx取生效数据集user_id再WHERE user_id=$1;adminGpxDelete查RowsAffected()==0。gpx_owner_test.go - 下载名走
downloadDisposition(ASCII 兜底+filename*=UTF-8'');四出口都经此。download_name_test.go writeRawRow必须上抛错误让withTx回滚。两步验证两闸都要:loginGuard(键"2fa:"+用户名)+CodeReplay.Consume。twofa_guard_test.go+code_replay_test.go
口径 / 404 / 验收(details 十一~十三、廿七、廿八E、卅二)
- ⚠️ 跑全量验收前:①
VACUUM (FULL, ANALYZE)(死元组涨到 3.3GB 后级联 DELETE 变 IO 爬虫,看着像 hang);② 库内必须有is_active数据集,否则internal/stats6 用例假 skip。跑着时别并发跑定点测试。 - 区域判定两端各过一遍再 AND(同
regionSQL);movementsWhere也必须两端各判,不能用EXISTS(... IN (from,to) ...);比较列一律COALESCE(col,'')=$n。region_consistency_test.go - 其余(累计停留口径、
Filter.Verdict下沉、404 分档、验收四件套、覆盖率-coverpkg)见 details 卅二。
备份合并 / 导出链路(details 卅一 + 廿一)
- 对齐键:到访=
ZIDENTIFIER_、地点=PlaceCoordKey(坐标 6 位,不认名称)、活动=ZUID_;合并前必须重算差异。 - 地点配对只有一份实现
rond.MatchPlaces(差异与合并共用);同名兜底必须有距离上限(nameMatchMaxKm=1.0)。 - 差异页默认 radio 是「用实机」;写合并测试要照这个提交(抓
value="backup"),否则测的不是真实点击行为。 - 自检不变量:合并后没有任何地点被搬动 >1km、也没有任何到访离它的实机地点 >1km。
- 三条铁律:① app 只靠
Z_PK解引用地点/活动 ⇒ 导出的编号必须与数据集基线同一套 ⇒ 基线必须是手机包;② rond 导入是整库替换 ⇒ 导入前先清空 app 数据;③ 站点数据是超集 ⇒ 用「手机导出作新数据集 + 旧站点导出当备份合并进去」对齐;ZRAW这类从源包抄来的计数会越界,靠导出侧夹取兜住。