图片不再随数据集删除：加「图片挂载恢复」，place_images 摘掉外键
用户报「之前上传的照片找不到了，应该是因为清了应用数据换基线」。查下来与 App 侧无关， 是站点自己两套口径打架： - place_images.dataset_id 带 ON DELETE CASCADE，而读取按 place_key 坐标键、跨数据集。 - 于是删掉旧数据集时图片**行**被级联删了，**文件却留在 media 目录里**。 - 实测（本机）：datasets 只剩 155 号、place_images 0 行、盘上 4 个 .webp 好端端躺着。 同一批附属数据里备注（17）与结论（3+1）因为早就迁到坐标键，毫发无损——只有图片倒霉。 三件事： 1) 恢复：后台首页「图片挂载恢复 → 扫描并恢复」（POST /admin/images/recover， internal/web/image_recovery.go）。只插行、不删文件、不看数据集，按 object_key 判重可反复点。 认地点两处来源：数据集还在就查它的 places；数据集已删就读它留下的 baselines/<id>.sqlite 还原「地点号 → 坐标」。对象键两种历史布局都认（<ds>/<YYYYMM>/<srcPK>-<hash>.webp 与 <ds>/<srcPK>/<hash>.webp）；判据先看文件名有没有 `<数字>-` 前缀，再看中间目录—— 地点号也可能刚好 6 位，只看位数会认错。 2) 防复发：CREATE TABLE place_images 去掉外键 + 幂等 DROP CONSTRAINT；删图接口不再按 dataset_id 过滤（数据集删了也得能删图）；「删除数据集」的二次确认文案改成实话。 3) 报告同类陷阱（未改）：topics 仍带 CASCADE，专题随数据集一起删且没有恢复来源。 测试踩到的坑：图片「按坐标键跨数据集读」+「按 object_key 判重」都不看数据集，用例之间会 互相污染两处——盘上文件（报「应当 2 张、实际 10 张」）与库里的行（Already:1 让兜底分支 根本没跑到，用例差点假绿）。加 isolateImageState（换空 DataDir + 按 place_key 清历史行）， 并给夹具补收尾清理（外键没了必须自己清）。 新增用例 4 条；验收：./scripts/verify.sh 全量 PASS=323 FAIL=0 SKIP=0。
This commit is contained in:
tamakyi
@@ -1,6 +1,8 @@
|
||||
# 构建产物
|
||||
/rond
|
||||
/rond.exe
|
||||
# go build ./... 会按模块名输出到仓库根：漏了这个就会一直当未跟踪文件冒出来
|
||||
/rond-with-you.exe
|
||||
*.exe~
|
||||
/bin
|
||||
|
||||
|
||||
@@ -211,3 +211,33 @@ UUID 集合也与换之前逐条一致）。
|
||||
|
||||
第二轮全量验收：**PASS=319 FAIL=0 SKIP=0**。技能 `rond-backup-parse` 补了「导出条数 ≠ 站点条数」
|
||||
与「换基线已做成后台动作」两处。
|
||||
|
||||
## 图片丢失的根因与恢复（2026-09-30 19:40）
|
||||
|
||||
用户报「之前上传的照片现在找不到了，应该是因为清了应用数据换基线」。查下来**跟 App 侧无关**，
|
||||
是站点自己的外键口径不一致：
|
||||
|
||||
- `place_images.dataset_id` 带 `ON DELETE CASCADE`，而**读取按 `place_key` 坐标键、跨数据集**。
|
||||
- 于是「删掉旧数据集」把图片**行**级联删了，**文件却留在 `<data_dir>/media/<数据集>/…`**。
|
||||
- 本机实测：`datasets` 只剩 155 号，`place_images` **0 行**，盘上 4 个 `.webp` 好端端躺着。
|
||||
同一批附属数据里备注（17）与结论（3+1）因为早就迁到坐标键，**毫发无损**——只有图片倒霉。
|
||||
|
||||
做的三件事：
|
||||
1. **恢复**：`internal/web/image_recovery.go` + 后台首页「图片挂载恢复 → 扫描并恢复」（`POST /admin/images/recover`）。
|
||||
只插行、不动文件、可反复点（按 `object_key` 判重，`apply=false` 是预演）。认地点两处来源：
|
||||
① 数据集还在就查它的 `places`；② 数据集已删就读它留下的 `baselines/<id>.sqlite` 还原「地点号 → 坐标」。
|
||||
对象键两种历史布局都认（`<ds>/<YYYYMM>/<srcPK>-<hash>.webp` 与 `<ds>/<srcPK>/<hash>.webp`）。
|
||||
2. **防复发**：schema 里 `CREATE TABLE place_images` 去掉外键 + 幂等 `DROP CONSTRAINT`；
|
||||
删图的接口不再按 `dataset_id` 过滤；后台「删除数据集」的确认文案改成实话（专题也会删、附属数据不受影响）。
|
||||
3. **同类陷阱报告**：`topics` 仍带 CASCADE —— 专题随数据集一起删且**没有恢复来源**（本机 0 行，
|
||||
之前那次换数据集就没了）。专题内容本来是「时间+区域」派生的，可以做成跨数据集的，但列表/详情都按
|
||||
`dataset_id` 过滤，要改就一起改 —— **等用户拍板**，没擅自动。
|
||||
|
||||
本机预期可恢复 4 张：`上班` ×1（旧地点号 286）、`海之尚酒店` ×3（旧地点号 309），靠 `baselines/9.sqlite` 认。
|
||||
|
||||
踩到的测试坑（都写进 details 卅四）：图片「按坐标键跨数据集读」+「按 object_key 判重」都**不看数据集**，
|
||||
用例之间会互相污染两处——盘上文件（「应当 2 张、实际 10 张」）与库里的行
|
||||
（`Already:1` 让兜底分支根本没跑到，用例差点假绿）。加了 `isolateImageState`（换空 DataDir + 按 place_key 清行），
|
||||
并给夹具补了收尾清理（外键没了，必须自己清）。
|
||||
|
||||
新增用例 4 条（`image_recovery_test.go`）。
|
||||
|
||||
@@ -583,3 +583,52 @@ Core Data 元数据、索引、持久化历史、`ZRAWVISIT` 采样点、`ZTRIP*
|
||||
记档优先重建（**带反证**：清掉记档后同一条路必须走不通，防止用例被别的兜底弄绿）、
|
||||
部分重合需确认、一条都对不上 force 也不给过、非包文件第一步就挡住、回滚还原且当前那份也留档、
|
||||
页面渲染到底（尾部 `</html>`）。
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 三十四、图片挂载恢复 + `place_images` 摘掉外键（2026-09-30）
|
||||
|
||||
### 症状与根因（用户报「之前上传的照片找不到了」）
|
||||
`place_images.dataset_id` 原本带 `ON DELETE CASCADE`，而**读取按 `place_key` 坐标键、跨数据集**。
|
||||
两套口径打架：删掉旧数据集时图片**行**被级联删掉，**文件却留在 `<data_dir>/media/<数据集>/…`**。
|
||||
实测（本机 `rond_with_you`）：`datasets` 只剩 155 号，`place_images` 0 行，盘上 4 个 `.webp` 好端端躺着。
|
||||
同一批附属数据里，备注（17 行）、结论（3+1 行）因为早就迁到坐标键，**毫发无损**——只有图片倒霉。
|
||||
|
||||
### 恢复动作
|
||||
- 入口：后台首页「图片挂载恢复 → 扫描并恢复」⇒ `POST /admin/images/recover`（`internal/web/image_recovery.go`）。
|
||||
只**插入**行：不删文件、不动已有行、可反复点（按 `object_key` 判重）。`apply=false` 是预演。
|
||||
- 认地点的两处来源：① 数据集还在库里 ⇒ 查它的 `places`（最准）；② 数据集已删 ⇒ 读它留下的
|
||||
**底座库** `baselines/<id>.sqlite`（换基线留下的 `.bak-*` 也算，新的优先）→ 还原「地点号 → 坐标」。
|
||||
⚠️ **底座文件是救图的唯一依据**：清掉 baselines 就永远认不出这些图属于哪个地点（只报「认不出」）。
|
||||
- 对象键**两种布局都要认**（历史原因）：
|
||||
`<dataset>/<YYYYMM>/<srcPK>-<内容哈希>.webp`（现在）与 `<dataset>/<srcPK>/<内容哈希>.webp`（早期，目录名就是地点号）。
|
||||
判据不能只看「中间那层是不是 6 位数字」——地点号也可能刚好 6 位：先看文件名有没有 `<数字>-` 前缀，再退到目录名。
|
||||
- `width/height` 无从得知、留 0：页面只用 `URL`（模板里没有宽高），`bytes` 用文件大小。
|
||||
|
||||
### 防复发
|
||||
- `schema.sql`：`CREATE TABLE place_images` **去掉外键**，另加幂等迁移
|
||||
`ALTER TABLE place_images DROP CONSTRAINT IF EXISTS place_images_dataset_id_fkey;`。
|
||||
`dataset_id` 退化成「出处」这一列——图片认地点本来就不看它。
|
||||
- `adminPlaceImageDelete` 不再按 `dataset_id` 过滤（数据集删了也得能删图），SELECT/DELETE 都只按 `id`。
|
||||
- 后台「删除数据集」的二次确认文案改成实话：删的是到访/地点/位移/原始行留档 + **专题**，
|
||||
备注/结论/图片按坐标键保留。
|
||||
- ⚠️ **同类陷阱还剩一个**：`topics` 仍带 CASCADE。专题内容是「时间 + 区域」派生的，本可以跨数据集活，
|
||||
但列表/详情都按 `dataset_id` 过滤，去掉外键就得同时改成用户级查询——**未做，待用户拍板**。
|
||||
已丢的那批专题（本机 0 行）没有本地恢复来源。
|
||||
|
||||
### ⚠️ 测试隔离（这批用例踩出来的）
|
||||
图片「按坐标键跨数据集读」+「按 object_key 判重」，都**不看数据集** ⇒ 用例之间会互相污染，两处都要隔离：
|
||||
1. **盘上文件**：共用 media 目录里任何一张「坐标相同」的图都会被算成该地点的图
|
||||
⇒ 实测「应当 2 张、实际 10 张」（上一轮跑剩的文件全在那张坐标上）。
|
||||
2. **库里的行**：上一轮留下的 `object_key` 会让新文件被当成「已经在库里」直接跳过
|
||||
⇒ 实测 `Already:1`，**兜底分支根本没被执行到**，而用例只看「挂回 1 张」差点就放过（假绿）。
|
||||
做法：`isolateImageState(t, f, lat, lon)` —— 换空 `DataDir`（`t.TempDir()`）+ 按 `place_key`
|
||||
清历史行（前置清一次、`t.Cleanup` 再清一次）。改名用的文件名再带 `UnixNano` 后缀避免撞键。
|
||||
夹具 `newMovementFixture` 也补了收尾：显式 `DELETE FROM place_images WHERE dataset_id=$1` + 删 media 子目录
|
||||
（**不再级联，必须自己清**），注册得最晚 ⇒ 在删用户之前跑。
|
||||
|
||||
### 用例 `internal/web/image_recovery_test.go`（4 条）
|
||||
行没了文件还在 ⇒ 按坐标挂回（含预演不写库、幂等、挂回后**页面口径** `placeImagesOf` 看得见）、
|
||||
早期键布局与 `parseImageKey` 的表驱动、**数据集已删 ⇒ 靠底座库认回**（并在报告里说明来源）、
|
||||
删数据集不再带走图片行与文件。
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# rond-with-you 硬规矩（索引）
|
||||
|
||||
> 全文：`.workbuddy/memory/MEMORY-details.md`（35 节）；验证机制：技能 `rond-fix-verify`；备份包解析/导出：技能 `rond-backup-parse`。本文件只做关键词索引——**新规矩写 details，别堆这里**。
|
||||
> 全文：`.workbuddy/memory/MEMORY-details.md`（36 节）；验证机制：技能 `rond-fix-verify`；备份包解析/导出：技能 `rond-backup-parse`。本文件只做关键词索引——**新规矩写 details，别堆这里**。
|
||||
>
|
||||
> ⚠️ 本文件**按字符数**注入，硬上限 `MAX_MEMORY_CHARS = 1e4`（WorkBuddy `app.asar` 里 `getWorkingMemoryContent`；中文 1 字算 1，不是按字节）。超了会被 `substring(0,1e4)` 截断并写明「先整理再干活」——即整段尾部静默丢失。日常日志与本 details **不参与注入**，可以随便写。现值见 `wc -m`，留 20% 余量。
|
||||
|
||||
@@ -52,9 +52,11 @@
|
||||
- 站内新建行 `entity_raw.raw IS NULL`；`ZCATEGORY_` 真机只有 `MKPOICategoryXxx` 枚举。
|
||||
- 类别候选：编辑/照片页=库里在用 `GROUP BY`；补全页=在用 ∪ 静态表；下拉留「其它（自己写）」，默认「不动」。
|
||||
|
||||
## 跨备份 / 附属数据（details 十九~廿一）
|
||||
## 跨备份 / 附属数据（details 十九~廿一、卅四）
|
||||
- 预演按 `VisitUUID`/`ActivityUUID` 对齐、只读；`raw #>> '{ZIDENTIFIER_,$blob}'` 是 base64 须转 hex 比；地点只认坐标（`PlaceCoordKey` 6 位）。
|
||||
- 附属数据（备注/投票/图片）主键=`place_key` 坐标键（非 dataset+src_pk）；Go 与 SQL 两套须逐位一致。
|
||||
- ⚠️ **附属数据不能挂数据集外键**：`place_images` 曾按 `dataset_id` CASCADE ⇒ 删旧数据集=删图片行、**文件却留在盘上**（读取按坐标键、行按数据集级联，两套口径打架）。已摘掉外键；恢复走后台「图片挂载恢复」，认地点靠旧数据集留下的 `baselines/<id>.sqlite`（**别清 baselines 目录**）。`image_recovery_test.go`（details 卅四）
|
||||
- ⚠️ `topics` **仍**带 CASCADE（专题随数据集删掉、无恢复来源）——同类陷阱，待拍板。
|
||||
- ⚠️ `schema.sql` 迁移块必须收敛且排在依赖表之后（插在 `place_images` 前：开发库无症、**新库起不来**）。
|
||||
- 合并 `backup_merge.go`：整个 `withTx`、不删除；新行 `*_visit_src` 写**库里的 src_pk**；必须 `writeRawRow`；删地点前先查有无到访（CASCADE）。
|
||||
|
||||
|
||||
@@ -152,6 +152,21 @@ go build -o rond .
|
||||
- 换过的底座记档在 `datasets.baseline_name/baseline_sha256`：底座文件丢了会**按记档重建**，
|
||||
而不是退回最初那份旧包（否则上一次换基线会静默失效）。
|
||||
|
||||
## 地点图片
|
||||
|
||||
- **字节在浏览器里转成 WebP** 再上传，服务端只做形状校验、不重新编码（1 核机器扛不住解码大图）。
|
||||
- **存哪边**由后台设置决定：服务器本地磁盘（`<data_dir>/media/`）或对象存储（S3 / R2）。
|
||||
对象键是 `<数据集>/<上传月份>/<地点号>-<内容哈希>.webp`，按月份分目录、带内容哈希天然去重。
|
||||
- **图片认地点靠坐标键**，跟备注、结论同一套：换数据集之后同一个地点照样看到同一张图。
|
||||
- ⚠️ **早期版本图片记录挂在数据集上**（`place_images.dataset_id` 带 `ON DELETE CASCADE`），
|
||||
于是「删掉旧数据集」会把图片记录一起删掉，**而文件还留在磁盘上**——读取按坐标键、行却按数据集级联，
|
||||
两套口径打架，实测丢过一批图。现在外键已摘掉，删数据集不再带走图片；已经丢掉的那批可以恢复：
|
||||
后台首页「图片挂载恢复 → 扫描并恢复」，它按坐标把盘上还在的文件挂回当前数据集的地点上
|
||||
（只插记录、不动文件、可反复执行）。认地点要用旧数据集留下的底座库（`<data_dir>/baselines/<id>.sqlite`）
|
||||
来还原「地点号 → 坐标」，**所以别删那个文件**；底座也没了就认不出来了，报告里会列出来。
|
||||
- **删除数据集**只清掉从备份导来的记录与原始行留档；备注、结论、图片按坐标键保留。
|
||||
专题（`topics`）目前仍旧随数据集删除——同一个数据集删掉后要重建。
|
||||
|
||||
## 照片导入（补录没有轨迹的时间段）
|
||||
|
||||
手机里的照片带着拍摄时间和 GPS，可以批量补成「地点 + 到访」。
|
||||
|
||||
+10
-1
@@ -437,9 +437,15 @@ ALTER TABLE places ADD COLUMN IF NOT EXISTS src_lon DOUBLE PRECISION;
|
||||
-- 地点图片：站长给地点配的图。字节由**浏览器**转成 WebP 后再上传（服务端只负责收下与转存），
|
||||
-- 1 核机器不用扛解码。storage 记这一张实际放在哪、object_key 是本地相对路径或对象存储 key：
|
||||
-- 换了存储后端之后旧图仍按各自那一列去取，不会因为改了设置就全变破图。
|
||||
--
|
||||
-- ⚠️ dataset_id **故意不带外键**（早期版本带 ON DELETE CASCADE，后果见下）。
|
||||
-- 图片的「认地点」靠坐标键 place_key，与数据集无关；数据集只是当初上传时的落点。
|
||||
-- 带 CASCADE 时删除旧数据集会把图片行一并删掉，而**文件还留在磁盘上**——
|
||||
-- 读取按坐标键、行却按数据集级联，两套口径打架，实测就丢过一批图（2026-09-30）。
|
||||
-- 备注/结论早就改成坐标键了，图片这里跟上，dataset_id 退化成「出处」这一列。
|
||||
CREATE TABLE IF NOT EXISTS place_images (
|
||||
id BIGSERIAL PRIMARY KEY,
|
||||
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
|
||||
dataset_id BIGINT NOT NULL,
|
||||
src_pk INT NOT NULL,
|
||||
-- place_key 与备注、结论共用同一套坐标键：换数据集后图片还挂得回原地点。
|
||||
-- 对象键里仍然带 dataset_id（那只是存储路径，与「认不认得出是同一个地点」无关）。
|
||||
@@ -455,6 +461,9 @@ CREATE TABLE IF NOT EXISTS place_images (
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_place_images_place ON place_images(dataset_id, src_pk, position);
|
||||
|
||||
-- 老库摘掉那根外键（新库上面的 CREATE 里就没有）。幂等：约束不在时什么都不做。
|
||||
ALTER TABLE place_images DROP CONSTRAINT IF EXISTS place_images_dataset_id_fkey;
|
||||
|
||||
-- ---------- 附属数据改挂坐标键（一次性迁移）----------
|
||||
-- 备注 / 结论 / 图片原本挂 (dataset_id, src_pk)，换个数据集就全看不见了。
|
||||
-- 这里把它们搬到坐标键上；只在「还没有 place_key 列」时执行，所以新库直接走上面的
|
||||
|
||||
@@ -164,6 +164,9 @@ func (s *Server) adminPlaceImageUpload(w http.ResponseWriter, r *http.Request) {
|
||||
}
|
||||
|
||||
// adminPlaceImageDelete 删掉一张图：先删对象再删行（对象删失败也不留孤儿行）。
|
||||
//
|
||||
// 按 id 就行，**不按数据集过滤**：图片认地点靠坐标键、与数据集无关，而且数据集可能已经被删
|
||||
// （那时行还在、dataset_id 指向一个不存在的编号），带 dataset_id 过滤就永远删不掉了。
|
||||
func (s *Server) adminPlaceImageDelete(w http.ResponseWriter, r *http.Request) {
|
||||
ctx := r.Context()
|
||||
ds, err := s.datasetFor(ctx)
|
||||
@@ -181,7 +184,7 @@ func (s *Server) adminPlaceImageDelete(w http.ResponseWriter, r *http.Request) {
|
||||
}
|
||||
var backend, key string
|
||||
if err := s.db.QueryRowContext(ctx, `SELECT storage, object_key FROM place_images
|
||||
WHERE id=$1 AND dataset_id=$2`, id, ds.ID).Scan(&backend, &key); err != nil {
|
||||
WHERE id=$1`, id).Scan(&backend, &key); err != nil {
|
||||
s.json(w, map[string]any{"error": "图片不存在"})
|
||||
return
|
||||
}
|
||||
@@ -191,8 +194,7 @@ func (s *Server) adminPlaceImageDelete(w http.ResponseWriter, r *http.Request) {
|
||||
s.json(w, map[string]any{"error": "删除文件失败：" + err.Error()})
|
||||
return
|
||||
}
|
||||
if _, err := s.db.ExecContext(ctx, `DELETE FROM place_images WHERE id=$1 AND dataset_id=$2`,
|
||||
id, ds.ID); err != nil {
|
||||
if _, err := s.db.ExecContext(ctx, `DELETE FROM place_images WHERE id=$1`, id); err != nil {
|
||||
s.serverError(w, r, err)
|
||||
return
|
||||
}
|
||||
|
||||
@@ -0,0 +1,407 @@
|
||||
package web
|
||||
|
||||
import (
|
||||
"context"
|
||||
"database/sql"
|
||||
"errors"
|
||||
"fmt"
|
||||
"io/fs"
|
||||
"log"
|
||||
"net/http"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"sort"
|
||||
"strconv"
|
||||
"strings"
|
||||
|
||||
"rond-with-you/internal/rond"
|
||||
)
|
||||
|
||||
// 图片挂载恢复：把**盘上还在、但库里已经没有行**的地点图片按坐标重新挂回地点。
|
||||
//
|
||||
// 为什么会有这种孤儿：`place_images` 原本在 `dataset_id` 上带 ON DELETE CASCADE，
|
||||
// 而读取用的是坐标键（换数据集之后同一个地点本就该看到同一张图）。
|
||||
// 于是「删掉旧数据集」这件事会把图片行一起带走，**文件却留在 media 目录里**——
|
||||
// 备注、结论早就改成坐标键了，只有图片还挂在数据集上，删数据集就它倒霉。
|
||||
// 2026-09-30 实测：数据集 9 被删后 place_images 从 N 行变成 0 行，4 个 .webp 文件好端端躺在盘上。
|
||||
//
|
||||
// 这个动作只**插入**行：不删文件、不改文件、不碰已有行，可重复执行（幂等）。
|
||||
// 真正的防复发在 schema 里：外键已去掉，删数据集不再带走图片行。
|
||||
|
||||
// coordRef 是一个地点在**某个数据集**里的坐标与名字。
|
||||
type coordRef struct {
|
||||
Lat, Lon float64
|
||||
Name string
|
||||
}
|
||||
|
||||
// coordSource 是「旧数据集编号 → 坐标表」的一次解析结果，顺带说明这份数据是从哪来的。
|
||||
type coordSource struct {
|
||||
refs map[int]coordRef
|
||||
note string
|
||||
}
|
||||
|
||||
type recoveredPlace struct {
|
||||
Key string
|
||||
Place string
|
||||
Count int
|
||||
}
|
||||
|
||||
type unresolvedImage struct {
|
||||
ObjectKey string
|
||||
Reason string
|
||||
}
|
||||
|
||||
type imageRecoverReport struct {
|
||||
Scanned int // 盘上扫到的图片文件数
|
||||
Attached int // 本次新挂回的行数（apply=false 时是「可挂回」）
|
||||
Already int // 库里已经有行、跳过的
|
||||
Recovered []recoveredPlace // 按地点汇总（新挂回/可挂回的）
|
||||
Unresolved []unresolvedImage
|
||||
Notes []string // 坐标来源说明，便于核对「为什么是这么认的」
|
||||
Applied bool
|
||||
}
|
||||
|
||||
// parseImageKey 从对象键里取出 (数据集编号, 地点编号)。
|
||||
//
|
||||
// 键有两种形状，历史原因并存，都要认：
|
||||
//
|
||||
// <datasetID>/<YYYYMM>/<srcPK>-<内容哈希>.webp ← 现在的写法（见 savePlaceImage）
|
||||
// <datasetID>/<srcPK>/<内容哈希>.webp ← 早期写法：中间那层目录名就是地点编号
|
||||
//
|
||||
// 判据不能只看「中间那层是不是 6 位数字」：地点编号也可能刚好是 6 位。
|
||||
// 先看文件名里有没有 `<数字>-` 前缀（现在的写法），没有再把中间那层当地点编号。
|
||||
func parseImageKey(key string) (datasetID, srcPK int, ok bool) {
|
||||
parts := strings.Split(key, "/")
|
||||
if len(parts) != 3 {
|
||||
return 0, 0, false
|
||||
}
|
||||
dsID, err := strconv.Atoi(parts[0])
|
||||
if err != nil || dsID <= 0 {
|
||||
return 0, 0, false
|
||||
}
|
||||
base := strings.TrimSuffix(parts[2], filepath.Ext(parts[2]))
|
||||
if i := strings.Index(base, "-"); i > 0 {
|
||||
if pk, err := strconv.Atoi(base[:i]); err == nil && pk > 0 {
|
||||
return dsID, pk, true
|
||||
}
|
||||
}
|
||||
if pk, err := strconv.Atoi(parts[1]); err == nil && pk > 0 {
|
||||
return dsID, pk, true
|
||||
}
|
||||
return 0, 0, false
|
||||
}
|
||||
|
||||
// mediaKeys 列出本地媒体目录里的全部 .webp（正斜杠相对路径 = 对象键）。
|
||||
func (s *Server) mediaKeys() ([]string, error) {
|
||||
root := s.cfg.MediaDir()
|
||||
var out []string
|
||||
err := filepath.WalkDir(root, func(p string, d fs.DirEntry, err error) error {
|
||||
if err != nil {
|
||||
return err // 目录读不动就报出来，别静默漏文件
|
||||
}
|
||||
if d.IsDir() || !strings.EqualFold(filepath.Ext(p), ".webp") {
|
||||
return nil
|
||||
}
|
||||
rel, err := filepath.Rel(root, p)
|
||||
if err != nil {
|
||||
return nil
|
||||
}
|
||||
out = append(out, filepath.ToSlash(rel))
|
||||
return nil
|
||||
})
|
||||
if errors.Is(err, fs.ErrNotExist) {
|
||||
return nil, nil // 还没用过本地图片
|
||||
}
|
||||
sort.Strings(out)
|
||||
return out, err
|
||||
}
|
||||
|
||||
// attachedImageKeys 读出库里已经挂着的对象键，用来跳过（幂等）。
|
||||
func (s *Server) attachedImageKeys(ctx context.Context) (map[string]bool, error) {
|
||||
rows, err := s.db.QueryContext(ctx, `SELECT object_key FROM place_images`)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer rows.Close()
|
||||
out := map[string]bool{}
|
||||
for rows.Next() {
|
||||
var k string
|
||||
if err := rows.Scan(&k); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
out[k] = true
|
||||
}
|
||||
return out, rows.Err()
|
||||
}
|
||||
|
||||
// currentPlaceIndex 把当前数据集的地点按坐标键索引起来：图片就是靠它认回地点的。
|
||||
func (s *Server) currentPlaceIndex(ctx context.Context, datasetID int64) (map[string]PlaceRef, error) {
|
||||
rows, err := s.db.QueryContext(ctx, `SELECT src_pk, COALESCE(name,''), COALESCE(lat,0), COALESCE(lon,0)
|
||||
FROM places WHERE dataset_id=$1`, datasetID)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer rows.Close()
|
||||
out := map[string]PlaceRef{}
|
||||
for rows.Next() {
|
||||
var r PlaceRef
|
||||
if err := rows.Scan(&r.SrcPK, &r.Name, &r.Lat, &r.Lon); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
if r.Lat == 0 && r.Lon == 0 {
|
||||
continue
|
||||
}
|
||||
out[rond.PlaceCoordKey(r.Lat, r.Lon)] = r
|
||||
}
|
||||
return out, rows.Err()
|
||||
}
|
||||
|
||||
// PlaceRef 是恢复时用到的最小地点信息。
|
||||
type PlaceRef struct {
|
||||
SrcPK int
|
||||
Name string
|
||||
Lat, Lon float64
|
||||
}
|
||||
|
||||
// srcPKCoords 取某个数据集里「地点编号 → 坐标 + 名字」。
|
||||
//
|
||||
// 两条来源，按可靠性排：
|
||||
// 1. 该数据集还在库里 ⇒ 直接查它的 places 表（最准：站点改过坐标也认）。
|
||||
// 2. 数据集已经删了 ⇒ 退到它留下的**底座库**（`baselines/<id>.sqlite`）。
|
||||
// 删数据集不会删底座文件，这正是这些图片还能救回来的原因；底座也被清掉就只能报「认不出」。
|
||||
func (s *Server) srcPKCoords(ctx context.Context, datasetID int64) (coordSource, error) {
|
||||
var exists bool
|
||||
if err := s.db.QueryRowContext(ctx, `SELECT true FROM datasets WHERE id=$1`, datasetID).Scan(&exists); err == nil {
|
||||
rows, err := s.db.QueryContext(ctx, `SELECT src_pk, COALESCE(lat,0), COALESCE(lon,0), COALESCE(name,'')
|
||||
FROM places WHERE dataset_id=$1`, datasetID)
|
||||
if err != nil {
|
||||
return coordSource{}, err
|
||||
}
|
||||
defer rows.Close()
|
||||
refs := map[int]coordRef{}
|
||||
for rows.Next() {
|
||||
var pk int
|
||||
var r coordRef
|
||||
if err := rows.Scan(&pk, &r.Lat, &r.Lon, &r.Name); err != nil {
|
||||
return coordSource{}, err
|
||||
}
|
||||
refs[pk] = r
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return coordSource{}, err
|
||||
}
|
||||
return coordSource{refs: refs, note: fmt.Sprintf("#%d：库里的 places 表", datasetID)}, nil
|
||||
}
|
||||
|
||||
// 数据集没了：找它留下的底座库（换基线留下的 .bak 也算，按时间新的优先）
|
||||
base := s.baselinePath(datasetID)
|
||||
cands := []string{base}
|
||||
if baks, _ := filepath.Glob(base + ".bak-*"); len(baks) > 0 {
|
||||
sort.Sort(sort.Reverse(sort.StringSlice(baks)))
|
||||
cands = append(cands, baks...)
|
||||
}
|
||||
for _, p := range cands {
|
||||
refs, err := readLocationCoords(ctx, p)
|
||||
if err != nil {
|
||||
continue
|
||||
}
|
||||
return coordSource{refs: refs, note: fmt.Sprintf("#%d：底座库 %s", datasetID, filepath.Base(p))}, nil
|
||||
}
|
||||
return coordSource{}, fmt.Errorf("数据集 #%d 已删除，也没找到它留下的底座库（%s）", datasetID, base)
|
||||
}
|
||||
|
||||
// readLocationCoords 从底座库里读「地点编号 → 坐标 + 名字」（Core Data 的 ZLOCATION）。
|
||||
func readLocationCoords(ctx context.Context, path string) (map[int]coordRef, error) {
|
||||
sdb, err := openBaselineRO(path)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer sdb.Close()
|
||||
rows, err := sdb.QueryContext(ctx, `SELECT Z_PK, ZLATITUDE, ZLONGITUDE, COALESCE(ZNAME_,'')
|
||||
FROM ZLOCATION`)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer rows.Close()
|
||||
out := map[int]coordRef{}
|
||||
for rows.Next() {
|
||||
var pk int
|
||||
var r coordRef
|
||||
var lat, lon sql.NullFloat64
|
||||
if err := rows.Scan(&pk, &lat, &lon, &r.Name); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
if !lat.Valid || !lon.Valid {
|
||||
continue
|
||||
}
|
||||
r.Lat, r.Lon = lat.Float64, lon.Float64
|
||||
out[pk] = r
|
||||
}
|
||||
return out, rows.Err()
|
||||
}
|
||||
|
||||
// recoverPlaceImages 扫描媒体目录，把库里没有行的图片挂回当前数据集的地点上。
|
||||
// apply=false 只统计不写库。
|
||||
func (s *Server) recoverPlaceImages(ctx context.Context, apply bool) (imageRecoverReport, error) {
|
||||
var rep imageRecoverReport
|
||||
ds, err := s.datasetFor(ctx)
|
||||
if err != nil {
|
||||
return rep, err
|
||||
}
|
||||
if ds == nil {
|
||||
return rep, errors.New("还没有生效的数据集，先导入一份备份")
|
||||
}
|
||||
keys, err := s.mediaKeys()
|
||||
if err != nil {
|
||||
return rep, fmt.Errorf("扫描图片目录失败：%w", err)
|
||||
}
|
||||
attached, err := s.attachedImageKeys(ctx)
|
||||
if err != nil {
|
||||
return rep, err
|
||||
}
|
||||
cur, err := s.currentPlaceIndex(ctx, ds.ID)
|
||||
if err != nil {
|
||||
return rep, err
|
||||
}
|
||||
byPlace := map[string]*recoveredPlace{}
|
||||
cache := map[int]coordSource{} // 每个旧数据集只解析一次坐标表
|
||||
failed := map[int]string{} // 解析不过的记下原因，避免每个文件各报一遍
|
||||
|
||||
for _, key := range keys {
|
||||
rep.Scanned++
|
||||
if attached[key] {
|
||||
rep.Already++
|
||||
continue
|
||||
}
|
||||
dsID, srcPK, ok := parseImageKey(key)
|
||||
if !ok {
|
||||
rep.Unresolved = append(rep.Unresolved, unresolvedImage{key, "对象键里看不出数据集/地点编号"})
|
||||
continue
|
||||
}
|
||||
src, ok := cache[dsID]
|
||||
if !ok {
|
||||
if msg, bad := failed[dsID]; bad {
|
||||
rep.Unresolved = append(rep.Unresolved, unresolvedImage{key, msg})
|
||||
continue
|
||||
}
|
||||
src, err = s.srcPKCoords(ctx, int64(dsID))
|
||||
if err != nil {
|
||||
msg := fmt.Sprintf("认不出这张图属于哪个地点：%v", err)
|
||||
failed[dsID] = msg
|
||||
rep.Unresolved = append(rep.Unresolved, unresolvedImage{key, msg})
|
||||
continue
|
||||
}
|
||||
cache[dsID] = src
|
||||
rep.Notes = append(rep.Notes, src.note)
|
||||
}
|
||||
ref, ok := src.refs[srcPK]
|
||||
if !ok {
|
||||
rep.Unresolved = append(rep.Unresolved, unresolvedImage{key,
|
||||
fmt.Sprintf("数据集 #%d 里没有编号 %d 的地点", dsID, srcPK)})
|
||||
continue
|
||||
}
|
||||
pkey := rond.PlaceCoordKey(ref.Lat, ref.Lon)
|
||||
place, ok := cur[pkey]
|
||||
if !ok {
|
||||
rep.Unresolved = append(rep.Unresolved, unresolvedImage{key,
|
||||
fmt.Sprintf("当前数据集里没有坐标 %s 的地点（旧地点「%s」）", pkey, ref.Name)})
|
||||
continue
|
||||
}
|
||||
entry := byPlace[pkey]
|
||||
if entry == nil {
|
||||
entry = &recoveredPlace{Key: pkey, Place: place.Name}
|
||||
byPlace[pkey] = entry
|
||||
}
|
||||
entry.Count++
|
||||
rep.Attached++
|
||||
if !apply {
|
||||
continue
|
||||
}
|
||||
fi, err := os.Stat(filepath.Join(s.cfg.MediaDir(), filepath.FromSlash(key)))
|
||||
var size int64
|
||||
if err == nil {
|
||||
size = fi.Size()
|
||||
}
|
||||
// storage 固定 local：能在这个目录里扫到，就说明它是本地后端的对象。
|
||||
// width/height 无从得知（页面只用到 URL，留 0 不影响渲染），bytes 用文件大小。
|
||||
if _, err := s.db.ExecContext(ctx, `INSERT INTO place_images
|
||||
(dataset_id, src_pk, place_key, storage, object_key, width, height, bytes, position)
|
||||
VALUES ($1,$2,$3,'local',$4,0,0,$5,
|
||||
COALESCE((SELECT max(position)+1 FROM place_images WHERE place_key=$3), 0))
|
||||
ON CONFLICT (dataset_id, src_pk, object_key) DO NOTHING`,
|
||||
ds.ID, place.SrcPK, pkey, key, size); err != nil {
|
||||
return rep, fmt.Errorf("挂回 %s 失败：%w", key, err)
|
||||
}
|
||||
attached[key] = true
|
||||
}
|
||||
for _, e := range byPlace {
|
||||
rep.Recovered = append(rep.Recovered, *e)
|
||||
}
|
||||
sort.Slice(rep.Recovered, func(i, j int) bool {
|
||||
if rep.Recovered[i].Count != rep.Recovered[j].Count {
|
||||
return rep.Recovered[i].Count > rep.Recovered[j].Count
|
||||
}
|
||||
return rep.Recovered[i].Key < rep.Recovered[j].Key
|
||||
})
|
||||
rep.Notes = dedupStrings(rep.Notes)
|
||||
rep.Applied = apply
|
||||
return rep, nil
|
||||
}
|
||||
|
||||
func dedupStrings(in []string) []string {
|
||||
seen := map[string]bool{}
|
||||
var out []string
|
||||
for _, s := range in {
|
||||
if seen[s] {
|
||||
continue
|
||||
}
|
||||
seen[s] = true
|
||||
out = append(out, s)
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// adminImagesRecover 是「扫描并恢复」按钮的处理函数。只插行、不删文件，可反复点。
|
||||
func (s *Server) adminImagesRecover(w http.ResponseWriter, r *http.Request) {
|
||||
rep, err := s.recoverPlaceImages(r.Context(), true)
|
||||
if err != nil {
|
||||
s.adminFlash(w, r, "err", "图片恢复失败："+err.Error())
|
||||
return
|
||||
}
|
||||
if rep.Attached == 0 && len(rep.Unresolved) == 0 {
|
||||
s.adminFlash(w, r, "ok", fmt.Sprintf("盘上 %d 个图片文件都已在库里，无需恢复。", rep.Scanned))
|
||||
return
|
||||
}
|
||||
msg := fmt.Sprintf("扫描 %d 个文件：新挂回 %d 张", rep.Scanned, rep.Attached)
|
||||
if len(rep.Recovered) > 0 {
|
||||
var parts []string
|
||||
for i, e := range rep.Recovered {
|
||||
if i == 3 {
|
||||
parts = append(parts, fmt.Sprintf("等 %d 个地点", len(rep.Recovered)))
|
||||
break
|
||||
}
|
||||
name := e.Place
|
||||
if name == "" {
|
||||
name = e.Key
|
||||
}
|
||||
parts = append(parts, fmt.Sprintf("%s ×%d", name, e.Count))
|
||||
}
|
||||
msg += "（" + strings.Join(parts, "、") + "）"
|
||||
}
|
||||
if rep.Already > 0 {
|
||||
msg += fmt.Sprintf("；已在库 %d 张", rep.Already)
|
||||
}
|
||||
if len(rep.Unresolved) > 0 {
|
||||
msg += fmt.Sprintf("；认不出 %d 张", len(rep.Unresolved))
|
||||
for i, u := range rep.Unresolved {
|
||||
if i == 2 {
|
||||
msg += fmt.Sprintf("，另有 %d 张", len(rep.Unresolved)-i)
|
||||
break
|
||||
}
|
||||
msg += fmt.Sprintf("。%s：%s", u.ObjectKey, u.Reason)
|
||||
}
|
||||
log.Printf("图片恢复：%d 张认不出，例：%s（%s）", len(rep.Unresolved),
|
||||
rep.Unresolved[0].ObjectKey, rep.Unresolved[0].Reason)
|
||||
}
|
||||
s.adminFlash(w, r, "ok", msg)
|
||||
}
|
||||
@@ -0,0 +1,352 @@
|
||||
package web
|
||||
|
||||
import (
|
||||
"database/sql"
|
||||
"fmt"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"strconv"
|
||||
"strings"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"rond-with-you/internal/rond"
|
||||
)
|
||||
|
||||
// ---------- 图片挂载恢复 ----------
|
||||
//
|
||||
// 守的是这么一件事：图片的「认地点」靠坐标键、与数据集无关，但早期 `place_images.dataset_id`
|
||||
// 上带 ON DELETE CASCADE ⇒ 删掉旧数据集时行被级联删掉，**文件却留在磁盘上**。
|
||||
// 2026-09-30 实测：数据集 9 被删后 place_images 从 N 行变 0 行，4 个 .webp 还在盘上。
|
||||
// 这三条用例分别守：文件能挂回来、历史对象键布局也认得出、以及「以后不会再丢」。
|
||||
|
||||
// imageURLs 读某个地点在页面上会看到哪些图片（与 placeImagesOf 同一口径）。
|
||||
func (f *movementFixture) imageURLs(t *testing.T, srcPK int) []string {
|
||||
t.Helper()
|
||||
imgs, err := f.srv.placeImagesOf(f.ctx, f.dsID, srcPK)
|
||||
if err != nil {
|
||||
t.Fatalf("读地点图片失败: %v", err)
|
||||
}
|
||||
var out []string
|
||||
for _, im := range imgs {
|
||||
out = append(out, im.URL)
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// isolateImageState 让这一轮用例独占「这个地点的图片」这份状态。
|
||||
//
|
||||
// 必须隔离，两处都要：
|
||||
// 1. **盘上的文件**：media 目录是共用的，而图片按坐标键跨数据集读，目录里只要有一张
|
||||
// 「坐标相同」的图（上一轮跑剩的、别的用例留下的）就会被算成这个地点的图——
|
||||
// 没隔离时它报「应当 2 张、实际 10 张」。
|
||||
// 2. **库里的行**：`recoverPlaceImages` 按 object_key 判重、`placeImagesOf` 按 place_key 读，
|
||||
// 都不看数据集；库里留着上一轮的行时，新文件会被当成「已经在库里」直接跳过——
|
||||
// 实测过 `Already:1` 让兜底分支根本没被执行到，用例却只看「挂回 1 张」就差点放过。
|
||||
//
|
||||
// 隔离不了的部分（别的坐标的残留）不影响这些断言；本轮插的行归本数据集，夹具收尾会清掉。
|
||||
func isolateImageState(t *testing.T, f *movementFixture, lat, lon float64) string {
|
||||
t.Helper()
|
||||
f.cfg.DataDir = t.TempDir()
|
||||
key := rond.PlaceCoordKey(lat, lon)
|
||||
if _, err := f.pg.ExecContext(f.ctx, `DELETE FROM place_images WHERE place_key=$1`, key); err != nil {
|
||||
t.Fatalf("清理历史图片行失败: %v", err)
|
||||
}
|
||||
t.Cleanup(func() {
|
||||
f.pg.ExecContext(f.ctx, `DELETE FROM place_images WHERE place_key=$1`, key)
|
||||
})
|
||||
return key
|
||||
}
|
||||
|
||||
// fakeWebP 造一段最小的 WebP 字节：只需要 RIFF....WEBP 头骗过 isWebP（不真的解码）。
|
||||
func fakeWebP(seed byte, n int) []byte {
|
||||
if n < 32 {
|
||||
n = 32
|
||||
}
|
||||
b := make([]byte, n)
|
||||
copy(b, "RIFF")
|
||||
copy(b[8:], "WEBP")
|
||||
for i := 12; i < n; i++ {
|
||||
b[i] = seed
|
||||
}
|
||||
return b
|
||||
}
|
||||
|
||||
// pickPlaceWithCoords 挑一个有坐标的地点（图片只能挂到有坐标的地点上）。
|
||||
func pickPlaceWithCoords(t *testing.T, f *movementFixture) (srcPK int, name string, lat, lon float64) {
|
||||
t.Helper()
|
||||
if err := f.pg.QueryRowContext(f.ctx, `SELECT src_pk, COALESCE(name,''), lat, lon FROM places
|
||||
WHERE dataset_id=$1 AND lat IS NOT NULL AND lon IS NOT NULL AND (lat<>0 OR lon<>0)
|
||||
ORDER BY src_pk LIMIT 1`, f.dsID).Scan(&srcPK, &name, &lat, &lon); err != nil {
|
||||
t.Fatalf("取地点失败: %v", err)
|
||||
}
|
||||
return
|
||||
}
|
||||
|
||||
// imageRowCount 数某个 key 在库里的行数。
|
||||
func imageRows(t *testing.T, f *movementFixture, objectKey string) int {
|
||||
t.Helper()
|
||||
var n int
|
||||
if err := f.pg.QueryRowContext(f.ctx, `SELECT count(*) FROM place_images WHERE object_key=$1`,
|
||||
objectKey).Scan(&n); err != nil {
|
||||
t.Fatalf("查图片行失败: %v", err)
|
||||
}
|
||||
return n
|
||||
}
|
||||
|
||||
// saveTwoImages 按正常路径给一个地点存两张图，返回它们的对象键。
|
||||
func saveTwoImages(t *testing.T, f *movementFixture, srcPK int) []string {
|
||||
t.Helper()
|
||||
var keys []string
|
||||
for i, seed := range []byte{0x11, 0x22} {
|
||||
_, url, err := f.srv.savePlaceImage(f.ctx, f.dsID, srcPK, fakeWebP(seed, 64+i), 4, 4)
|
||||
if err != nil {
|
||||
t.Fatalf("存第 %d 张图失败: %v", i+1, err)
|
||||
}
|
||||
key := strings.TrimPrefix(url, "/media/")
|
||||
if key == "" || key == url {
|
||||
t.Fatalf("本地存储应当返回 /media/<key>，实际 %q", url)
|
||||
}
|
||||
if _, err := os.Stat(filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(key))); err != nil {
|
||||
t.Fatalf("图片文件没落盘（%s）: %v", key, err)
|
||||
}
|
||||
keys = append(keys, key)
|
||||
}
|
||||
return keys
|
||||
}
|
||||
|
||||
// TestRecoverPlaceImagesReattachesFilesOnDisk 行没了、文件还在 ⇒ 按坐标挂回来。
|
||||
func TestRecoverPlaceImagesReattachesFilesOnDisk(t *testing.T) {
|
||||
f := newMovementFixture(t)
|
||||
ctx, dsID, srv := f.ctx, f.dsID, f.srv
|
||||
srcPK, name, lat, lon := pickPlaceWithCoords(t, f)
|
||||
wantKey := isolateImageState(t, f, lat, lon)
|
||||
keys := saveTwoImages(t, f, srcPK)
|
||||
|
||||
// 模拟早期行为：删掉数据集时行被级联带走（文件留在盘上）
|
||||
if _, err := f.pg.ExecContext(ctx, `DELETE FROM place_images WHERE dataset_id=$1`, dsID); err != nil {
|
||||
t.Fatalf("清理图片行失败: %v", err)
|
||||
}
|
||||
for _, k := range keys {
|
||||
if _, err := os.Stat(filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(k))); err != nil {
|
||||
t.Fatalf("用例前提不成立：文件应当还留在盘上（%s）: %v", k, err)
|
||||
}
|
||||
}
|
||||
|
||||
// 预演不许写库
|
||||
rep, err := srv.recoverPlaceImages(ctx, false)
|
||||
if err != nil {
|
||||
t.Fatalf("预演失败: %v", err)
|
||||
}
|
||||
if rep.Attached != 2 {
|
||||
t.Errorf("预演应当报 2 张可挂回，实际 %d（认不出 %d）", rep.Attached, len(rep.Unresolved))
|
||||
}
|
||||
if imageRows(t, f, keys[0]) != 0 {
|
||||
t.Error("预演就把行写进去了")
|
||||
}
|
||||
|
||||
rep, err = srv.recoverPlaceImages(ctx, true)
|
||||
if err != nil {
|
||||
t.Fatalf("恢复失败: %v", err)
|
||||
}
|
||||
if rep.Attached != 2 {
|
||||
t.Errorf("应当挂回 2 张，实际 %d", rep.Attached)
|
||||
}
|
||||
for _, k := range keys {
|
||||
if imageRows(t, f, k) != 1 {
|
||||
t.Errorf("%s 没有挂回（或挂重了）", k)
|
||||
}
|
||||
}
|
||||
// 挂在当前数据集上、地点对得上、坐标键正确：这三条决定它能不能在页面上显示
|
||||
var gotPK int
|
||||
var gotKey, gotStorage string
|
||||
if err := f.pg.QueryRowContext(ctx, `SELECT src_pk, place_key, storage FROM place_images
|
||||
WHERE object_key=$1`, keys[0]).Scan(&gotPK, &gotKey, &gotStorage); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if gotPK != srcPK || gotKey != wantKey || gotStorage != "local" {
|
||||
t.Errorf("挂回的行不对：src_pk=%d（想 %d）place_key=%q（想 %q）storage=%q",
|
||||
gotPK, srcPK, gotKey, wantKey, gotStorage)
|
||||
}
|
||||
// 页面口径（按坐标键跨数据集读）必须能看到这两张图
|
||||
urls := f.imageURLs(t, srcPK)
|
||||
for _, k := range keys {
|
||||
if !containsStr(urls, "/media/"+k) {
|
||||
t.Errorf("地点「%s」的图片里没有挂回的 %s（实际 %v）", name, k, urls)
|
||||
}
|
||||
}
|
||||
if len(urls) != 2 {
|
||||
t.Errorf("地点「%s」应当正好 2 张图，实际 %d：%v", name, len(urls), urls)
|
||||
}
|
||||
|
||||
// 幂等：再跑一次不该重复插
|
||||
rep, err = srv.recoverPlaceImages(ctx, true)
|
||||
if err != nil {
|
||||
t.Fatalf("重复恢复失败: %v", err)
|
||||
}
|
||||
if rep.Attached != 0 || rep.Already < 2 {
|
||||
t.Errorf("重复执行应当全部跳过，实际新挂 %d、已在库 %d", rep.Attached, rep.Already)
|
||||
}
|
||||
for _, k := range keys {
|
||||
if imageRows(t, f, k) != 1 {
|
||||
t.Errorf("重复执行把 %s 插重了", k)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// TestRecoverPlaceImagesUnderstandsLegacyKeyLayout 早期对象键是
|
||||
// `<数据集>/<地点号>/<哈希>.webp`（中间那层目录就是地点号），也要认得出。
|
||||
func TestRecoverPlaceImagesUnderstandsLegacyKeyLayout(t *testing.T) {
|
||||
for _, tc := range []struct {
|
||||
name string
|
||||
key string
|
||||
ds int
|
||||
pk int
|
||||
ok bool
|
||||
}{
|
||||
{"现在的写法", "9/202609/309-042beb5e786707bb.webp", 9, 309, true},
|
||||
{"早期写法", "9/286/ebe4914ed6d18f6b626d.webp", 9, 286, true},
|
||||
{"地点号刚好 6 位（早期写法）", "9/100001/beef.webp", 9, 100001, true},
|
||||
{"看不出数据集", "x/202609/1-aa.webp", 0, 0, false},
|
||||
{"层数不对", "9/309.webp", 0, 0, false},
|
||||
{"文件名没有地点号前缀、中间也不是数字", "9/xx/aa.webp", 0, 0, false},
|
||||
} {
|
||||
ds, pk, ok := parseImageKey(tc.key)
|
||||
if ok != tc.ok || (ok && (ds != tc.ds || pk != tc.pk)) {
|
||||
t.Errorf("parseImageKey(%q) = (%d,%d,%v)，想 (%d,%d,%v)", tc.key, ds, pk, ok, tc.ds, tc.pk, tc.ok)
|
||||
}
|
||||
}
|
||||
|
||||
// 真数据：把文件改名成早期布局，仍然挂得回去
|
||||
f := newMovementFixture(t)
|
||||
ctx, dsID, srv := f.ctx, f.dsID, f.srv
|
||||
srcPK, _, lat, lon := pickPlaceWithCoords(t, f)
|
||||
isolateImageState(t, f, lat, lon)
|
||||
keys := saveTwoImages(t, f, srcPK)
|
||||
if _, err := f.pg.ExecContext(ctx, `DELETE FROM place_images WHERE dataset_id=$1`, dsID); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
legacy := filepath.ToSlash(filepath.Join(strconv.Itoa(int(dsID)), strconv.Itoa(srcPK), fmt.Sprintf("abc123-%d.webp", time.Now().UnixNano())))
|
||||
if err := os.MkdirAll(filepath.Dir(filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(legacy))), 0o755); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
old := filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(keys[0]))
|
||||
if err := os.Rename(old, filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(legacy))); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
|
||||
rep, err := srv.recoverPlaceImages(ctx, true)
|
||||
if err != nil {
|
||||
t.Fatalf("恢复失败: %v", err)
|
||||
}
|
||||
if rep.Attached != 2 {
|
||||
t.Errorf("两个文件（含早期布局那个）都该挂回，实际 %d（认不出 %d）", rep.Attached, len(rep.Unresolved))
|
||||
}
|
||||
if imageRows(t, f, legacy) != 1 {
|
||||
t.Error("早期布局那个文件没挂回")
|
||||
}
|
||||
urls := f.imageURLs(t, srcPK)
|
||||
if !containsStr(urls, "/media/"+legacy) || !containsStr(urls, "/media/"+keys[1]) {
|
||||
t.Errorf("早期布局与现在布局的文件都该看得见，实际 %v", urls)
|
||||
}
|
||||
if len(urls) != 2 {
|
||||
t.Errorf("应当正好 2 张图，实际 %d：%v", len(urls), urls)
|
||||
}
|
||||
}
|
||||
|
||||
// TestRecoverPlaceImagesFallsBackToBaseline 数据集已经被删（places 行没了）时，
|
||||
// 靠它留下的底座库认回地点——这正是「换基线后图片看不见」的那个场景。
|
||||
func TestRecoverPlaceImagesFallsBackToBaseline(t *testing.T) {
|
||||
f := newMovementFixture(t)
|
||||
ctx, dsID, srv := f.ctx, f.dsID, f.srv
|
||||
srcPK, _, lat, lon := pickPlaceWithCoords(t, f)
|
||||
isolateImageState(t, f, lat, lon)
|
||||
keys := saveTwoImages(t, f, srcPK)
|
||||
if _, err := f.pg.ExecContext(ctx, `DELETE FROM place_images WHERE dataset_id=$1`, dsID); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
|
||||
// 造一个「已经被删掉的数据集」的对象键：编号库里没有，只有一份底座库认得它
|
||||
const ghost = 987654
|
||||
ghostBase := srv.baselinePath(ghost)
|
||||
if err := os.MkdirAll(filepath.Dir(ghostBase), 0o755); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
writeGhostBaseline(t, ghostBase, srcPK, lat, lon)
|
||||
t.Cleanup(func() { os.Remove(ghostBase) })
|
||||
|
||||
key := filepath.ToSlash(filepath.Join(strconv.Itoa(ghost), strconv.Itoa(srcPK), fmt.Sprintf("deadbeef-%d.webp", time.Now().UnixNano())))
|
||||
dst := filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(key))
|
||||
if err := os.MkdirAll(filepath.Dir(dst), 0o755); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if err := os.Rename(filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(keys[0])), dst); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
|
||||
rep, err := srv.recoverPlaceImages(ctx, true)
|
||||
if err != nil {
|
||||
t.Fatalf("恢复失败: %v", err)
|
||||
}
|
||||
if imageRows(t, f, key) != 1 {
|
||||
t.Fatalf("没靠底座库认回地点（认不出 %d 张，理由：%v）", len(rep.Unresolved), rep.Unresolved)
|
||||
}
|
||||
var gotKey string
|
||||
if err := f.pg.QueryRowContext(ctx, `SELECT place_key FROM place_images WHERE object_key=$1`, key).
|
||||
Scan(&gotKey); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if gotKey != placeKeyOfCoords(lat, lon) {
|
||||
t.Errorf("认出的地点不对：%q", gotKey)
|
||||
}
|
||||
if !strings.Contains(strings.Join(rep.Notes, " "), "底座库") {
|
||||
t.Errorf("应当说明这份坐标是从底座库来的，实际 %+v", rep)
|
||||
}
|
||||
}
|
||||
|
||||
// TestDeleteDatasetKeepsImageRows 防复发：删数据集不再带走图片行。
|
||||
//
|
||||
// 外键去掉之前，删数据集会把 place_images 连带删掉、文件却留在盘上——两套口径打架。
|
||||
// 现在图片只认坐标键，dataset_id 退化成「出处」这一列。
|
||||
func TestDeleteDatasetKeepsImageRows(t *testing.T) {
|
||||
f := newMovementFixture(t)
|
||||
ctx, dsID := f.ctx, f.dsID
|
||||
srcPK, _, lat, lon := pickPlaceWithCoords(t, f)
|
||||
isolateImageState(t, f, lat, lon)
|
||||
keys := saveTwoImages(t, f, srcPK)
|
||||
|
||||
if _, err := f.pg.ExecContext(ctx, `DELETE FROM datasets WHERE id=$1`, dsID); err != nil {
|
||||
t.Fatalf("删数据集失败: %v", err)
|
||||
}
|
||||
for _, k := range keys {
|
||||
if imageRows(t, f, k) != 1 {
|
||||
t.Errorf("删数据集把图片行 %s 带走了（外键没摘干净？）", k)
|
||||
}
|
||||
if _, err := os.Stat(filepath.Join(f.cfg.MediaDir(), filepath.FromSlash(k))); err != nil {
|
||||
t.Errorf("文件也不该被删: %v", err)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// writeGhostBaseline 造一份只有 ZLOCATION 的最小底座库（模拟「数据集已删、底座还在」）。
|
||||
func writeGhostBaseline(t *testing.T, path string, srcPK int, lat, lon float64) {
|
||||
t.Helper()
|
||||
db, err := sql.Open("sqlite", "file:"+filepath.ToSlash(path))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer db.Close()
|
||||
if _, err := db.Exec(`CREATE TABLE ZLOCATION (
|
||||
Z_PK INTEGER PRIMARY KEY, ZLATITUDE REAL, ZLONGITUDE REAL, ZNAME_ TEXT)`); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if _, err := db.Exec(`INSERT INTO ZLOCATION (Z_PK, ZLATITUDE, ZLONGITUDE, ZNAME_)
|
||||
VALUES (?,?,?,'旧地点')`, srcPK, lat, lon); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
|
||||
// placeKeyOfCoords 与生产同口径的坐标键（图片「认地点」靠的就是它）。
|
||||
func placeKeyOfCoords(lat, lon float64) string {
|
||||
return rond.PlaceCoordKey(lat, lon)
|
||||
}
|
||||
@@ -11,6 +11,7 @@ import (
|
||||
"net/url"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"strconv"
|
||||
"strings"
|
||||
"testing"
|
||||
"time"
|
||||
@@ -119,6 +120,14 @@ func newMovementFixture(t *testing.T) *movementFixture {
|
||||
if err != nil {
|
||||
t.Fatalf("初始化服务失败: %v", err)
|
||||
}
|
||||
// 图片的清理要自己来：place_images 只认坐标键、**不再随数据集级联**（见 schema 里的说明），
|
||||
// 所以删用户/删数据集都不会带走它。不显式清的话，上一个用例留下的行会在按坐标键读图时
|
||||
// 被算进下一个用例（实测「应当 2 张、实际 4 张」就是这么来的）。
|
||||
// 注册得最晚 ⇒ t.Cleanup 后进先出，它会在删用户之前跑。
|
||||
t.Cleanup(func() {
|
||||
pg.ExecContext(ctx, `DELETE FROM place_images WHERE dataset_id=$1`, dsID)
|
||||
os.RemoveAll(filepath.Join(cfg.MediaDir(), strconv.FormatInt(dsID, 10)))
|
||||
})
|
||||
return &movementFixture{cfg: cfg, pg: pg, srv: srv, dsID: dsID, src: src,
|
||||
ctx: ctxWithUser(&auth.User{ID: uid, Username: user})}
|
||||
}
|
||||
|
||||
@@ -255,6 +255,7 @@ func (s *Server) routes() {
|
||||
// 地点图片：字节由浏览器转成 WebP 后发过来，这里只负责收下、落库、取址
|
||||
s.mux.HandleFunc("POST /admin/place/images", s.requireAdmin(s.adminPlaceImageUpload))
|
||||
s.mux.HandleFunc("POST /admin/place/images/delete", s.requireAdmin(s.adminPlaceImageDelete))
|
||||
s.mux.HandleFunc("POST /admin/images/recover", s.requireAdmin(s.adminImagesRecover))
|
||||
// 本地存储的图片直出；对象存储的图走公开域名，不经过这里
|
||||
s.mux.HandleFunc("GET /media/", s.serveMedia)
|
||||
s.mux.HandleFunc("POST /admin/notes/bulk", s.requireAdmin(s.adminNotesBulk))
|
||||
|
||||
@@ -99,6 +99,21 @@
|
||||
<a class="btn primary" href="/admin/export/rondbackup">导出 rondbackup（可回导 rond）</a>
|
||||
</div>
|
||||
|
||||
<div class="card">
|
||||
<div class="row" style="justify-content:space-between;align-items:center">
|
||||
<h2 style="margin:0">图片挂载恢复</h2>
|
||||
<form method="post" action="/admin/images/recover"
|
||||
onsubmit="return confirm('扫描磁盘上的图片文件，把库里没有记录的那些按坐标挂回地点？只新增记录、不动文件，可反复执行。')">
|
||||
<button class="btn sm" type="submit">扫描并恢复</button>
|
||||
</form>
|
||||
</div>
|
||||
<div class="card-sub">
|
||||
换了数据集之后地点图片看不见了？<b>早期版本的图片记录挂在数据集上，删掉旧数据集时会连记录一起删</b>，
|
||||
而图片文件还留在磁盘里。点这里按坐标把它们挂回去（假如图片属于旧数据集，先别删它的底座文件——
|
||||
认地点要用它）。现在这版已经不会再有这个问题了。
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="card">
|
||||
<div class="row" style="justify-content:space-between;align-items:center">
|
||||
<h2 style="margin:0">换基线（导出底稿）</h2>
|
||||
@@ -147,7 +162,7 @@
|
||||
</form>
|
||||
{{end}}
|
||||
<form method="post" action="/admin/datasets/{{.ID}}/delete" style="display:inline"
|
||||
onsubmit="return confirm('删除后该数据集的所有记录都会从数据库移除，且不可恢复。确认删除？')">
|
||||
onsubmit="return confirm('删除后该数据集的到访、地点、位移、原始行留档都会从数据库移除，且不可恢复；挂在它下面的专题也会一起删掉（备注、结论、图片按坐标键保留，不受影响）。确认删除？')">
|
||||
<button class="btn sm danger" type="submit">删除</button>
|
||||
</form>
|
||||
</td>
|
||||
|
||||
Reference in New Issue
Block a user