防复发：把「删数据集带走站点自建数据」做成结构性门禁 + 常驻体检
用户放弃继续救那批旧图，要求的是「别再发生同类事件」。所以不靠记性，靠结构：
1) 归属铁律（写进 schema.sql 抬头 + README 新章节）
判断标准只有一句：**这份记录能不能从备份重新导入？**
能（places/visits/movements/weather/activities/tags/entity_raw）⇒ 可挂
`REFERENCES datasets(id) ON DELETE CASCADE`；
不能（place_images/place_notes/place_votes/topics）⇒ 只留 dataset_id 当出处、**不许挂外键**。
2) 两道门禁（dataset_ownership_test.go），都做了变异验证：
- 运行时：查 pg_constraint，凡挂 datasets 的表必须在白名单里；**反向也查**
（白名单里的表不许被顺手摘掉，否则删数据集会留成片孤儿行）。
- 静态：扫 schema.sql 的 CREATE TABLE。只看运行时有盲点——新建的库走 CREATE TABLE，
开发库可能压根没跑过那次迁移。变异（把 topics 的 CASCADE 补回去）当场红。
- 变异验证顺带发现：扫描必须先跳过 `--` 注释行，规矩的说明文字里就写着
`REFERENCES datasets(id)`，不跳过会把自己写的文档当成违规。
- 还发现运行时那道单独看**不够**：夹具每次跑迁移，迁移自己就把坏外键摘了，
它永远不会在不健康的库上报警 ⇒ 补了「注入事故原样的外键再跑迁移，断言被摘掉」
的自愈用例（并先确认变异真的生效，防假绿）。
3) 常驻体检：后台首页显示「库里 N 张 / 本地盘上 M 个 / 落单 K 个」，落单 >0 直接报警。
事故的本质不是「删数据集」本身，而是**行与对象悄悄对不上、没人发现**，等照片看不见了才追。
自愈用例又抓出一个此前漏掉的缺口：place_notes / place_votes 上的同类外键迁移并不会摘
（原先只写了 place_images 与 topics 两句 DROP）⇒ 补成五张自建数据表全覆盖。
⚠️ 排序坑（本项目第二次踩）：摘外键那段最初放在 place_images 建表**之前**，
开发库毫无症状、**全新库起不来**（ALTER 报「关系不存在」），被
TestFreshDatabaseServesAppQueries 抓住。整段已挪到 place_images 之后，并把坑写进注释。
顺带订正「删除数据集」的二次确认文案（专题改完之后它还在说专题会一起删）。
全量验收 PASS=336 FAIL=0 SKIP=0。
This commit is contained in:
tamakyi
@@ -0,0 +1,36 @@
|
||||
# 2026-10-01
|
||||
|
||||
## 防复发：把「删数据集带走自建数据」做成结构性门禁（00:30）
|
||||
|
||||
用户放弃继续救那批旧图：「我只想避免类似的事件再次发生」。于是把这次的教训固化成三件东西
|
||||
（`internal/web/dataset_ownership_test.go` + `schema.sql` 抬头 + README 新章节）：
|
||||
|
||||
1. **归属铁律**：判断标准只有一句——**这份记录能不能从备份重新导入？**
|
||||
能（places/visits/movements/weather/activities/tags/entity_raw）⇒ 可挂 CASCADE；
|
||||
不能（place_images/place_notes/place_votes/topics）⇒ 只留 dataset_id 当出处、不许挂外键。
|
||||
2. **两道门禁**：运行时查 `pg_constraint`（表必须在白名单里，反向也查）+ 静态扫 `schema.sql`
|
||||
（新建的库走 CREATE TABLE，只看运行时有盲点）。做变异验证时确认了静态那条**真的会响**。
|
||||
3. **体检常驻后台首页**：库里 N 张 / 本地盘上 M 个 / 落单 K 个（`imageHealth`），落单 >0 直接报警。
|
||||
事故的本质不是「删数据集」本身，而是**行与对象悄悄对不上、没人发现**——让它当场可见。
|
||||
|
||||
变异验证的收获（比测试本身更有价值）：
|
||||
- 运行时门禁单独看**不够**：夹具每次跑迁移，迁移自己就把坏外键摘了 ⇒ 它永远不会在不健康的库上报警。
|
||||
补了 `TestMigrationDropsStaleDatasetForeignKeys`：注入事故原样的外键再跑迁移，断言被摘掉。
|
||||
- 这条自愈用例又抓出缺口：`place_notes`/`place_votes` 上同类外键**迁移并不会摘**
|
||||
（原先只写了 place_images 与 topics 两句 DROP）⇒ 补成四张自建数据表全覆盖。
|
||||
**部署出去的库要能自愈，DROP 必须覆盖全部同类表。**
|
||||
- 静态扫描必须先跳过 `--` 注释行：规矩的说明文字里就写着 `REFERENCES datasets(id)`，
|
||||
不跳过会把自己写的文档当成违规。
|
||||
|
||||
顺带订正：后台「删除数据集」的二次确认文案在专题改完后已说过时话（说专题会一起删），改成实话。
|
||||
|
||||
### 补记：迁移块排序的老规矩我又踩了一次（00:55）
|
||||
|
||||
把「摘外键」那五句 ALTER 收成一段放在 `topics` 之后，而 `place_images` 的 CREATE 在这段**之后**
|
||||
⇒ 开发库（表已存在）毫无症状，**全新库起不来**：`ALTER TABLE place_images …` 报「关系不存在」。
|
||||
正是记忆里那条老规矩：「迁移块必须收敛且排在依赖表之后（插在 place_images 前：开发库无症、新库起不来）」。
|
||||
被 `TestFreshDatabaseServesAppQueries` 当场抓住（这条门存在的意义）。
|
||||
|
||||
改成整段排在 `place_images` 建表之后（它是五张里最后一张），并把这个坑写进 schema.sql 的注释里。
|
||||
教训：**凡是 ALTER 某个表的迁移块，先确认那张表在文件里已经建过了**——
|
||||
只在本机库上跑一遍是测不出来的，必须跑 fresh-database 用例。
|
||||
@@ -681,3 +681,47 @@ Core Data 元数据、索引、持久化历史、`ZRAWVISIT` 采样点、`ZTRIP*
|
||||
|
||||
教训（可复用）：**「能读出数据」不等于「读对了那一版」**。凡是从「可能被覆盖过的留档」里还原编号/坐标，
|
||||
都要把历史版本一起纳入，并且在失败信息里列出已查过的来源 —— 否则用户只能看到「认不出」，无从下手。
|
||||
|
||||
### 三十五、防复发：归属口径做成门禁（2026-10-01，用户「我只想避免类似的事件再次发生」）
|
||||
|
||||
用户放弃继续救那批旧图，要求的是**结构性防复发**。所以把这次的教训固化成三件东西：
|
||||
|
||||
1. **归属铁律（写进 schema.sql 抬头 + README）**
|
||||
判断标准只有一句：**这份记录能不能从备份重新导入？**
|
||||
- 能（places/visits/movements/weather/activities/tags/entity_raw）⇒ 可以挂
|
||||
`REFERENCES datasets(id) ON DELETE CASCADE`，删数据集时跟着走是对的。
|
||||
- 不能（place_images/place_notes/place_votes/topics 等站点自建数据）⇒
|
||||
**只留 dataset_id 当出处、不许挂外键**。挂在备份里没有的记录上，删数据集=永久丢失。
|
||||
|
||||
2. **两道门禁（`internal/web/dataset_ownership_test.go`）**
|
||||
- 运行时 `TestOnlyBackupDerivedTablesCascadeFromDatasets`：查 `pg_constraint`，
|
||||
凡挂 `datasets` 的 FK 其表名必须在白名单里；**反向也查**（白名单里的表不许被顺手摘掉，
|
||||
否则删数据集会留成片孤儿行、或外键变 RESTRICT 之后干脆删不动）。
|
||||
- 静态 `TestSchemaDeclaresNoDatasetFKForUserData`：直接扫 `schema.sql` 的 `CREATE TABLE`。
|
||||
只看运行时有盲点——**新建的库走 CREATE TABLE**，开发库可能压根没跑过那次迁移。
|
||||
- 新加一张带 dataset_id 的表时，写 CREATE TABLE 的那一刻就会被拦住。
|
||||
|
||||
3. **体检常驻（真正的预防）**：`imageHealth` 每次进后台都算
|
||||
「库里 N 张 / 本地盘上 M 个 / 落单 K 个」，落单 > 0 直接在首页报警。
|
||||
那次事故的本质不是「删数据集」本身，而是**行与对象悄悄对不上、没人发现**，
|
||||
等照片看不见了才追——让它当场可见，同样的漂移下次立刻亮
|
||||
（`TestAdminHomeReportsOrphanImages` 守着这个提示）。
|
||||
只扫本地盘（毫秒级）；对象存储要列一次桶，放在「扫描并恢复」动作里，不在每次进后台的开销里。
|
||||
|
||||
顺带订正：后台「删除数据集」的二次确认文案在专题改完之后已经说过时话（说专题会一起删），改成实话。
|
||||
|
||||
### 三十五补记：变异验证又抓出一个真缺口（2026-10-01）
|
||||
|
||||
给两道门禁做**变异验证**时（按项目纪律，新回归测试必须证明它会响）：
|
||||
- 静态门禁：把 `topics` 的 CASCADE 外键补回去 ⇒ 立刻红，还原后绿 ✓
|
||||
（顺带发现扫描必须先跳过 `--` 注释行：规矩的说明文字里就写着 `REFERENCES datasets(id)`，
|
||||
不跳过会把自己写的文档当成违规误报。）
|
||||
- 运行时门禁：手动给 `topics` 加上外键后**没响**——因为夹具每次都跑 `db.Migrate`，
|
||||
迁移自己就把它摘了。⇒ 运行时判据单独看不够：它永远不会在不健康的库上报警。
|
||||
真正的自愈靠迁移，于是补了 `TestMigrationDropsStaleDatasetForeignKeys`：
|
||||
把事故原样的外键**注入回去**再跑一次迁移，断言它们没了（并先确认变异真的生效，防假绿）。
|
||||
|
||||
而这条自愈用例又抓出一个**此前漏掉的缺口**：`place_notes` / `place_votes` 上的同类外键
|
||||
（更早那次改坐标键时摘的，老库/生产库上未必摘干净）**迁移并不会摘**——
|
||||
原来只写了 `place_images` 与 `topics` 两句 DROP。已补成四张自建数据表全覆盖
|
||||
（含 `place_visitor_votes` 兜底）。**部署出去的库要能自愈，DROP 必须覆盖全部同类表，不是只覆盖这次动过的那两张。**
|
||||
|
||||
@@ -52,6 +52,15 @@
|
||||
- 站内新建行 `entity_raw.raw IS NULL`；`ZCATEGORY_` 真机只有 `MKPOICategoryXxx` 枚举。
|
||||
- 类别候选：编辑/照片页=库里在用 `GROUP BY`；补全页=在用 ∪ 静态表；下拉留「其它（自己写）」，默认「不动」。
|
||||
|
||||
## 归属口径 / 防复发（details 卅五）
|
||||
- ⚠️ **铁律：这份记录能不能从备份重新导入？** 能 ⇒ 可挂 `dataset_id … ON DELETE CASCADE`
|
||||
（places/visits/movements/weather/activities/tags/entity_raw）；**不能 ⇒ 只留 dataset_id 当出处、不许挂外键**
|
||||
（place_images/place_notes/place_votes/topics）。挂在备份里没有的表上 = 删数据集就永久丢失。
|
||||
- 两道门禁都钉着它：运行时查 `pg_constraint`（表必须在白名单里，反向也查）+ **静态扫 `schema.sql`**
|
||||
（新建的库走 CREATE TABLE，只看运行时会有盲点）。`dataset_ownership_test.go`
|
||||
- **体检常驻后台首页**：库里 N 张 / 本地盘上 M 个 / 落单 K 个（`imageHealth`）——
|
||||
事故的本质是「行与对象悄悄对不上、没人发现」，让它当场可见而不是等照片消失才追。
|
||||
|
||||
## 跨备份 / 附属数据（details 十九~廿一、卅四）
|
||||
- 预演按 `VisitUUID`/`ActivityUUID` 对齐、只读；`raw #>> '{ZIDENTIFIER_,$blob}'` 是 base64 须转 hex 比；地点只认坐标（`PlaceCoordKey` 6 位）。
|
||||
- 附属数据（备注/投票/图片）主键=`place_key` 坐标键（非 dataset+src_pk）；Go 与 SQL 两套须逐位一致。
|
||||
|
||||
@@ -152,6 +152,26 @@ go build -o rond .
|
||||
- 换过的底座记档在 `datasets.baseline_name/baseline_sha256`：底座文件丢了会**按记档重建**，
|
||||
而不是退回最初那份旧包（否则上一次换基线会静默失效）。
|
||||
|
||||
## 数据归属（删掉一份数据集会带走什么）
|
||||
|
||||
一条铁律：**从备份导入的数据随数据集删除；站点自建的数据不随数据集删除。**
|
||||
|
||||
| 会随数据集删掉 | 不随数据集删掉 |
|
||||
|---|---|
|
||||
| 到访、地点、位移、天气、活动、标签、原始行留档<br>（重新上传同一份备份就能再导回来） | 备注、结论、地点图片、专题 |
|
||||
|
||||
判断标准很简单：**这份记录能不能从备份重新导入？** 能 ⇒ 挂 `dataset_id … ON DELETE CASCADE`；
|
||||
不能 ⇒ 只留 `dataset_id` 当出处、**不许挂外键**。图片那次事故就是反过来的：行被级联删了、
|
||||
文件却留在盘上，而读取是按坐标键跨数据集的——两套口径打架，删数据集就等于永久丢失。
|
||||
|
||||
这条规矩有两道门禁守着，改坏当场红（不用靠记性）：
|
||||
- 运行时：查 `pg_constraint`，凡是挂 `datasets` 的表必须在白名单里（`TestOnlyBackupDerivedTablesCascadeFromDatasets`）
|
||||
- 静态：直接扫 `schema.sql` 的 `CREATE TABLE`（`TestSchemaDeclaresNoDatasetFKForUserData`）——
|
||||
只看运行时有个盲点：新建的库走的是 CREATE TABLE，开发库可能压根没跑过那次迁移。
|
||||
|
||||
另外**图片挂载体检**常驻后台首页（库里 N 张 / 本地盘上 M 个 / 落单 K 个）：
|
||||
行与对象对不上时会直接报警，不必等到照片看不见了才追。
|
||||
|
||||
## 地点图片
|
||||
|
||||
- **字节在浏览器里转成 WebP** 再上传，服务端只做形状校验、不重新编码（1 核机器扛不住解码大图）。
|
||||
|
||||
+25
-5
@@ -1,5 +1,16 @@
|
||||
-- rond-with-you 数据结构
|
||||
-- 一次上传 = 一个 dataset，所有事实表挂在其下，支持多份备份共存与切换
|
||||
--
|
||||
-- ⚠️️ 新增一张带 dataset_id 的表时，先答一个问题：
|
||||
-- **它的记录能不能从备份重新导入？**
|
||||
-- 能（到访/地点/位移/天气/活动/标签/原始行留档）⇒ 可以挂
|
||||
-- `REFERENCES datasets(id) ON DELETE CASCADE`：删数据集时它们跟着走是对的。
|
||||
-- 不能（图片、备注、结论、专题等**站点自建**的数据）⇒ **只留 dataset_id 当出处，不许挂外键**：
|
||||
-- 删数据集会把它们一起删掉，而这些记录不在任何备份里，删了就是永久丢失
|
||||
-- （2026-09-30 图片事故：行被 CASCADE、文件却留在盘上，读取按坐标键、行按数据集级联，
|
||||
-- 两套口径打架）。参考 place_images / place_notes / place_votes / topics 现在的写法。
|
||||
-- 这条规矩由 `TestOnlyBackupDerivedTablesCascadeFromDatasets` 与
|
||||
-- `TestSchemaDeclaresNoDatasetFKForUserData`（运行时 + 静态两道）守住，改这里会当场红。
|
||||
|
||||
CREATE TABLE IF NOT EXISTS users (
|
||||
id BIGSERIAL PRIMARY KEY,
|
||||
@@ -398,9 +409,6 @@ CREATE TABLE IF NOT EXISTS topics (
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_topics_user ON topics(user_id, sort_order, id);
|
||||
|
||||
-- 老库摘掉那根外键（新库上面的 CREATE 里就没有）。幂等：约束不在时什么都不做。
|
||||
-- 摘掉之后删数据集不再带走专题——它们只存在这张表里，删了就没有别的恢复来源了。
|
||||
ALTER TABLE topics DROP CONSTRAINT IF EXISTS topics_dataset_id_fkey;
|
||||
|
||||
-- fog of world 快照里「非已探索层」的原始瓦片文件（Model/~ 与 Model/#）。
|
||||
-- 站点只用已探索层渲染，但导出必须原样写回这两层，否则重导出的快照会丢掉约 55% 的内容。
|
||||
@@ -470,8 +478,20 @@ CREATE TABLE IF NOT EXISTS place_images (
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_place_images_place ON place_images(dataset_id, src_pk, position);
|
||||
|
||||
-- 老库摘掉那根外键（新库上面的 CREATE 里就没有）。幂等：约束不在时什么都不做。
|
||||
ALTER TABLE place_images DROP CONSTRAINT IF EXISTS place_images_dataset_id_fkey;
|
||||
-- ---------- 站点自建数据：一律摘掉 datasets 的外键 ----------
|
||||
-- ⚠️ 这一段必须排在**所有相关 CREATE TABLE 之后**（place_images 是最后一张）：
|
||||
-- 迁移块插在建表之前时，开发库（表已存在）毫无症状，**全新库却起不来**
|
||||
-- （`ALTER TABLE place_images …` 报「关系不存在」）——`TestFreshDatabaseServesAppQueries`
|
||||
-- 就是守这个的，本项目踩过。
|
||||
-- 这一段是给**已经部署出去的库**自愈用的，幂等：约束不在时什么都不做。
|
||||
-- 五张表全都兜住：只摘 place_images / topics 不够——place_notes / place_votes 是更早那次
|
||||
-- 改坐标键时摘的，老库上未必摘干净（变异验证就是这么抓出来的：把外键补回去后发现迁移不管它们）。
|
||||
-- 摘掉之后「删数据集」不再带走任何站点自建的数据。
|
||||
ALTER TABLE place_images DROP CONSTRAINT IF EXISTS place_images_dataset_id_fkey;
|
||||
ALTER TABLE place_notes DROP CONSTRAINT IF EXISTS place_notes_dataset_id_fkey;
|
||||
ALTER TABLE place_votes DROP CONSTRAINT IF EXISTS place_votes_dataset_id_fkey;
|
||||
ALTER TABLE place_visitor_votes DROP CONSTRAINT IF EXISTS place_visitor_votes_dataset_id_fkey;
|
||||
ALTER TABLE topics DROP CONSTRAINT IF EXISTS topics_dataset_id_fkey;
|
||||
|
||||
-- ---------- 附属数据改挂坐标键（一次性迁移）----------
|
||||
-- 备注 / 结论 / 图片原本挂 (dataset_id, src_pk)，换个数据集就全看不见了。
|
||||
|
||||
@@ -0,0 +1,234 @@
|
||||
package web
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"net/http"
|
||||
"net/http/httptest"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"regexp"
|
||||
"strings"
|
||||
"testing"
|
||||
|
||||
"rond-with-you/internal/db"
|
||||
)
|
||||
|
||||
// ---------- 归属口径：删数据集只许带走「从备份导入」的数据 ----------
|
||||
//
|
||||
// 事故（2026-09-30）：place_images 与 topics 带 `dataset_id … ON DELETE CASCADE`，
|
||||
// 删掉旧数据集时把**站点自建**的记录一起删了——图片行没了、文件却还留在盘上（读取按坐标键、
|
||||
// 行按数据集级联，两套口径打架）。这类记录**不在备份里**，删掉就是永久丢失。
|
||||
//
|
||||
// 这不是靠记性能守住的事，所以做成结构性门禁：
|
||||
// 凡是要挂在 datasets 上的外键，表名必须在这份白名单里。新增一张带 dataset_id 的表时，
|
||||
// 先问一句「它的记录能不能从备份重新导入」——能，才允许随数据集删除；不能，就只留
|
||||
// dataset_id 当出处、不许挂外键（参考 place_images / topics 现在的写法）。
|
||||
|
||||
// backupDerivedTables 是从备份导入、删了还能再导回来的那些表。删数据集时它们跟着走是对的。
|
||||
var backupDerivedTables = []string{
|
||||
"places", "visits", "movements", "weather", "activities", "tags", "entity_raw",
|
||||
}
|
||||
|
||||
// userOwnedTables 是站点自建、删数据集**必须留下**的表（只有列、没有外键）。
|
||||
var userOwnedTables = []string{"place_images", "place_notes", "place_votes", "topics"}
|
||||
|
||||
// TestOnlyBackupDerivedTablesCascadeFromDatasets 运行时判据：查 pg_constraint。
|
||||
func TestOnlyBackupDerivedTablesCascadeFromDatasets(t *testing.T) {
|
||||
f := newMovementFixture(t)
|
||||
rows, err := f.pg.QueryContext(f.ctx, `SELECT conrelid::regclass::text, confdeltype
|
||||
FROM pg_constraint WHERE confrelid='datasets'::regclass`)
|
||||
if err != nil {
|
||||
t.Fatalf("查外键失败: %v", err)
|
||||
}
|
||||
defer rows.Close()
|
||||
allowed := map[string]bool{}
|
||||
for _, n := range backupDerivedTables {
|
||||
allowed[n] = true
|
||||
}
|
||||
got := map[string]string{} // 表 -> 删除行为
|
||||
for rows.Next() {
|
||||
var tbl, del string
|
||||
if err := rows.Scan(&tbl, &del); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
got[tbl] = del
|
||||
if !allowed[tbl] {
|
||||
t.Errorf("%s 挂了 datasets 的外键（删除行为 %s）：它的记录不是从备份导入的，"+
|
||||
"删数据集会连它一起删掉、且无法恢复。只留 dataset_id 当出处，不要挂外键。", tbl, del)
|
||||
}
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
// 反向：白名单里的表必须还在。顺手去掉 places/visits 的级联会留下成片孤儿行，
|
||||
// 而删数据集的提示文案是按「这些都随数据集删除」写的。
|
||||
for _, n := range backupDerivedTables {
|
||||
if _, ok := got[n]; !ok {
|
||||
t.Errorf("%s 应当仍随数据集删除（现在没有 datasets 外键了）：删数据集会留下一堆孤儿行，"+
|
||||
"或者外键变成 RESTRICT 之后干脆删不动数据集。", n)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// TestMigrationDropsStaleDatasetForeignKeys 「库里残留着旧外键」⇒ 跑一次迁移必须把它摘掉。
|
||||
//
|
||||
// 这条最要紧：**已经部署出去的库**上就带着那根 CASCADE 外键（本机库现在还是），
|
||||
// 光改 CREATE TABLE 救不了它——必须靠 schema.sql 里那句 ALTER TABLE … DROP CONSTRAINT。
|
||||
// 这里故意把事故原样的外键加回去，跑一次迁移，断言它们没了：迁移能自愈这件事被钉住。
|
||||
//
|
||||
// 顺带解释了为什么「运行时判据」单独看不够：测试夹具每次都会跑迁移，
|
||||
// 于是运行时那条永远不会在不健康的库上报警——真正的自愈靠这条。
|
||||
func TestMigrationDropsStaleDatasetForeignKeys(t *testing.T) {
|
||||
f := newMovementFixture(t)
|
||||
ctx := f.ctx
|
||||
gone := func(table string) bool {
|
||||
var n int
|
||||
if err := f.pg.QueryRowContext(ctx, `SELECT count(*) FROM pg_constraint
|
||||
WHERE conrelid=$1::regclass AND confrelid='datasets'::regclass`, table).Scan(&n); err != nil {
|
||||
t.Fatalf("查 %s 的约束失败: %v", table, err)
|
||||
}
|
||||
return n == 0
|
||||
}
|
||||
// 先把事故原样的外键加回去（NOT VALID 跳过既有行的校验，只关心约束在不在）
|
||||
for _, tbl := range userOwnedTables {
|
||||
if !hasDatasetColumn(t, f, tbl) {
|
||||
continue
|
||||
}
|
||||
if _, err := f.pg.ExecContext(ctx, fmt.Sprintf(
|
||||
`ALTER TABLE %s DROP CONSTRAINT IF EXISTS %s_dataset_id_fkey`, tbl, tbl)); err != nil {
|
||||
t.Fatalf("清理 %s 的旧约束失败: %v", tbl, err)
|
||||
}
|
||||
if _, err := f.pg.ExecContext(ctx, fmt.Sprintf(
|
||||
`ALTER TABLE %s ADD CONSTRAINT %s_dataset_id_fkey
|
||||
FOREIGN KEY (dataset_id) REFERENCES datasets(id) ON DELETE CASCADE NOT VALID`, tbl, tbl)); err != nil {
|
||||
t.Fatalf("给 %s 补回外键失败: %v", tbl, err)
|
||||
}
|
||||
}
|
||||
// 确认变异生效（否则这条用例本身是假绿的）
|
||||
injected := false
|
||||
for _, tbl := range userOwnedTables {
|
||||
if hasDatasetColumn(t, f, tbl) && !gone(tbl) {
|
||||
injected = true
|
||||
}
|
||||
}
|
||||
if !injected {
|
||||
t.Fatal("变异没生效：没有任何一张自建数据表被挂上外键，这条用例等于没测")
|
||||
}
|
||||
|
||||
if err := db.Migrate(ctx, f.pg); err != nil {
|
||||
t.Fatalf("迁移失败: %v", err)
|
||||
}
|
||||
for _, tbl := range userOwnedTables {
|
||||
if hasDatasetColumn(t, f, tbl) && !gone(tbl) {
|
||||
t.Errorf("跑完迁移后 %s 上还挂着 datasets 的外键：那句 DROP CONSTRAINT 没生效，"+
|
||||
"已经部署出去的库就不会自愈。", tbl)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// hasDatasetColumn 判断某表有没有 dataset_id 列（不是所有自建数据表都有）。
|
||||
func hasDatasetColumn(t *testing.T, f *movementFixture, table string) bool {
|
||||
t.Helper()
|
||||
var n int
|
||||
if err := f.pg.QueryRowContext(f.ctx, `SELECT count(*) FROM pg_attribute
|
||||
WHERE attrelid=$1::regclass AND attname='dataset_id' AND NOT attisdropped`,
|
||||
table).Scan(&n); err != nil {
|
||||
t.Fatalf("查 %s 的列失败: %v", table, err)
|
||||
}
|
||||
return n > 0
|
||||
}
|
||||
|
||||
// TestSchemaDeclaresNoDatasetFKForUserData 静态判据：直接扫 schema.sql。
|
||||
//
|
||||
// 只看运行时约束有个盲点：**新建的库走的是 CREATE TABLE**，而开发库可能压根没跑过那次迁移。
|
||||
// 两边都钉住才不会漏——新加一张表时，写 CREATE TABLE 的那一刻就会被这条拦住。
|
||||
func TestSchemaDeclaresNoDatasetFKForUserData(t *testing.T) {
|
||||
b, err := os.ReadFile(filepath.Join(moduleRoot(t), "internal", "db", "schema.sql"))
|
||||
if err != nil {
|
||||
t.Fatalf("读 schema.sql 失败: %v", err)
|
||||
}
|
||||
src := string(b)
|
||||
allowed := map[string]bool{}
|
||||
for _, n := range backupDerivedTables {
|
||||
allowed[n] = true
|
||||
}
|
||||
userOwned := map[string]bool{}
|
||||
for _, n := range userOwnedTables {
|
||||
userOwned[n] = true
|
||||
}
|
||||
|
||||
createRe := regexp.MustCompile(`(?i)CREATE\s+TABLE\s+(?:IF\s+NOT\s+EXISTS\s+)?([a-z_]+)`)
|
||||
refRe := regexp.MustCompile(`(?i)REFERENCES\s+datasets\s*\(`)
|
||||
cur := ""
|
||||
for _, line := range strings.Split(src, "\n") {
|
||||
// 必须先跳过注释：这份规矩的说明文字里**就写着** REFERENCES datasets(id) 这几个字，
|
||||
// 不跳过会把自己的文档当成违规（实测就这么误报过一次）。
|
||||
if strings.HasPrefix(strings.TrimSpace(line), "--") {
|
||||
continue
|
||||
}
|
||||
if m := createRe.FindStringSubmatch(line); m != nil {
|
||||
cur = m[1]
|
||||
}
|
||||
if !refRe.MatchString(line) {
|
||||
continue
|
||||
}
|
||||
if cur == "" {
|
||||
t.Errorf("有一条 datasets 的外键没归属到任何 CREATE TABLE：%s", strings.TrimSpace(line))
|
||||
continue
|
||||
}
|
||||
if !allowed[cur] {
|
||||
t.Errorf("schema.sql 里 %s 声明了 datasets 的外键：它的记录不是从备份导入的，"+
|
||||
"删数据集会连它一起删掉（%s）。", cur, strings.TrimSpace(line))
|
||||
}
|
||||
}
|
||||
// 反向：自建数据表必须**真的存在**且带 dataset_id 列（防止有人顺手删表、或漏建列，
|
||||
// 让这条门禁失去意义）
|
||||
for _, n := range userOwnedTables {
|
||||
if !regexp.MustCompile(`(?i)CREATE\s+TABLE\s+(?:IF\s+NOT\s+EXISTS\s+)?` + n + `\b`).MatchString(src) {
|
||||
t.Errorf("schema.sql 里找不到 %s 的建表语句", n)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// TestAdminHomeReportsOrphanImages 后台首页要当场报出「有图片文件在库里没有记录」。
|
||||
//
|
||||
// 这才是真正的预防：那次事故不是「删数据集」本身，而是**行与对象悄悄对不上、没人发现**，
|
||||
// 等到照片看不见了才追。让它每次进后台都能看到，同样的漂移下次当场就亮。
|
||||
func TestAdminHomeReportsOrphanImages(t *testing.T) {
|
||||
f := newMovementFixture(t)
|
||||
ctx, dsID, srv := f.ctx, f.dsID, f.srv
|
||||
srcPK, _, lat, lon := pickPlaceWithCoords(t, f)
|
||||
isolateImageState(t, f, lat, lon)
|
||||
saveTwoImages(t, f, srcPK)
|
||||
|
||||
// 没漂移时：不该报警
|
||||
rows, objects, orphans := srv.imageHealth(ctx)
|
||||
if rows != 2 || objects != 2 || orphans != 0 {
|
||||
t.Fatalf("刚存完两张应当完全对得上，实际 行%d 对象%d 落单%d", rows, objects, orphans)
|
||||
}
|
||||
// 制造事故形状：行没了、文件还在
|
||||
if _, err := f.pg.ExecContext(ctx, `DELETE FROM place_images WHERE dataset_id=$1`, dsID); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
rows, objects, orphans = srv.imageHealth(ctx)
|
||||
if rows != 0 || objects != 2 || orphans != 2 {
|
||||
t.Fatalf("行删掉之后应当报 落单 2，实际 行%d 对象%d 落单%d", rows, objects, orphans)
|
||||
}
|
||||
|
||||
rec := httptest.NewRecorder()
|
||||
req := httptest.NewRequest("GET", "/admin", nil).WithContext(ctx)
|
||||
srv.adminHome(rec, req)
|
||||
if rec.Code != http.StatusOK {
|
||||
t.Fatalf("后台首页状态码 %d：%s", rec.Code, rec.Body.String())
|
||||
}
|
||||
body := rec.Body.String()
|
||||
if !strings.Contains(body, "落单 2 个") {
|
||||
t.Error("后台首页没有报出落单数，漂移就还是静默的")
|
||||
}
|
||||
if !strings.Contains(body, "在库里没有记录") {
|
||||
t.Error("后台首页没解释「落单」是什么意思")
|
||||
}
|
||||
if !strings.HasSuffix(strings.TrimSpace(body), "</html>") {
|
||||
t.Error("后台首页没渲染到底")
|
||||
}
|
||||
}
|
||||
@@ -173,6 +173,8 @@ func (s *Server) adminHome(w http.ResponseWriter, r *http.Request) {
|
||||
}
|
||||
}
|
||||
d.FogMasks = len(s.masksFor())
|
||||
// 图片挂载体检：行与对象对不上就当场可见（见 imageHealth 的注释）
|
||||
d.ImgRows, d.ImgObjects, d.ImgOrphans = s.imageHealth(r.Context())
|
||||
var fogUpdated sql.NullTime
|
||||
if err := s.db.QueryRowContext(r.Context(),
|
||||
`SELECT max(updated_at) FROM fog_blocks`).Scan(&fogUpdated); err != nil {
|
||||
|
||||
@@ -562,6 +562,37 @@ func dedupStrings(in []string) []string {
|
||||
return out
|
||||
}
|
||||
|
||||
// imageHealth 报告「库里的图片行」与「盘上的图片对象」对不对得上。
|
||||
//
|
||||
// 对不上（对象比行多）就说明有一批图其实还在、却看不见——正是那次事故的形状：
|
||||
// 行被级联删了、文件留在盘上。**让它随时可见**，下次再漂移当场就能发现，不必等照片消失。
|
||||
//
|
||||
// 只扫本地磁盘（走一次目录，毫秒级，适合每次进后台都算）；对象存储要真正列一次桶才知道，
|
||||
// 那是一次 API 调用，放在「扫描并恢复」动作里，不放到每次进后台的开销里。
|
||||
func (s *Server) imageHealth(ctx context.Context) (rows, objects, orphans int) {
|
||||
if err := s.db.QueryRowContext(ctx, `SELECT count(*) FROM place_images`).Scan(&rows); err != nil {
|
||||
return 0, 0, 0
|
||||
}
|
||||
keys, err := s.mediaKeys()
|
||||
if err != nil {
|
||||
return rows, 0, 0
|
||||
}
|
||||
objects = len(keys)
|
||||
if objects == 0 {
|
||||
return rows, 0, 0
|
||||
}
|
||||
attached, err := s.attachedImageKeys(ctx)
|
||||
if err != nil {
|
||||
return rows, objects, 0
|
||||
}
|
||||
for _, k := range keys {
|
||||
if !attached[k] {
|
||||
orphans++
|
||||
}
|
||||
}
|
||||
return rows, objects, orphans
|
||||
}
|
||||
|
||||
// adminImagesRecover 是「扫描并恢复」按钮的处理函数。只插行、不删对象，可反复点。
|
||||
func (s *Server) adminImagesRecover(w http.ResponseWriter, r *http.Request) {
|
||||
rep, err := s.recoverPlaceImages(r.Context(), true)
|
||||
|
||||
@@ -112,6 +112,16 @@
|
||||
而图片文件还留在磁盘里。点这里按坐标把它们挂回去（假如图片属于旧数据集，先别删它的底座文件——
|
||||
认地点要用它）。现在这版已经不会再有这个问题了。
|
||||
</div>
|
||||
<div class="card-sub" style="margin-top:10px">
|
||||
体检：库里 <b>{{num .ImgRows}}</b> 张 · 本地盘上 <b>{{num .ImgObjects}}</b> 个{{if gt .ImgOrphans 0}}
|
||||
· <b style="color:#b42318">落单 {{num .ImgOrphans}} 个</b>{{end}}
|
||||
</div>
|
||||
{{if gt .ImgOrphans 0}}
|
||||
<div class="alert err">
|
||||
有 <b>{{num .ImgOrphans}}</b> 个图片文件在库里没有记录——它们现在谁也看不到。
|
||||
点「扫描并恢复」按坐标挂回去（对象存储上的也会一并扫，需要 s3:ListBucket 权限）。
|
||||
</div>
|
||||
{{end}}
|
||||
</div>
|
||||
|
||||
<div class="card">
|
||||
@@ -162,7 +172,7 @@
|
||||
</form>
|
||||
{{end}}
|
||||
<form method="post" action="/admin/datasets/{{.ID}}/delete" style="display:inline"
|
||||
onsubmit="return confirm('删除后该数据集的到访、地点、位移、原始行留档都会从数据库移除，且不可恢复；挂在它下面的专题也会一起删掉（备注、结论、图片按坐标键保留，不受影响）。确认删除？')">
|
||||
onsubmit="return confirm('删除后这份数据集的到访、地点、位移、天气、活动、标签、原始行留档都会从数据库移除，且不可恢复（重新上传同一份备份可以再导回来）。你在站点上自建的备注、结论、地点图片、专题都不受影响，会按坐标键 / 按人保留。确认删除？')">
|
||||
<button class="btn sm danger" type="submit">删除</button>
|
||||
</form>
|
||||
</td>
|
||||
|
||||
@@ -659,6 +659,9 @@ type AdminData struct {
|
||||
FogMasks int
|
||||
// DefaultPW 表示管理员仍在使用初始口令，模板顶部给出警示条
|
||||
DefaultPW bool
|
||||
// 图片挂载体检：库里的行数、盘上的对象数、以及「对象有而库里没行」的落单数。
|
||||
// 落单 > 0 就是「有一批图其实还在、却看不见」，模板据此给警示条。
|
||||
ImgRows, ImgObjects, ImgOrphans int
|
||||
}
|
||||
|
||||
// VisitRow 是一条到访摊平后的展示行。地点与活动写名称而不是编号——
|
||||
|
||||
Reference in New Issue
Block a user