审计修复:后端(安全 / 数据一致性 / 性能)

audit-2026-09-21.md 里的后端条目落地。每条都配了回归守卫,并逐条做过变异验证
(注入原 bug → 确认按正确理由变红 → 还原 → 变绿)。

安全
- CSRF 只加同源 Origin/Referer 守卫(csrf.go),不动模板
- 会话 cookie 的 Secure 按请求判断;两步验证两闸(loginGuard + 验证码一次性)
- 跳转收口到 safeInternalPath;clientIP 只认 XFF 最后一段
- GPX 按属主圈定且查 RowsAffected;下载名走 downloadDisposition
- 上传口统一 MaxBytesReader;落盘后的失败路径清掉半成品

数据一致性
- 区域判定两端各过一遍再 AND(apiTrack 与 movementsWhere 对齐)
- Filter.Verdict 全域一致(下推到 visitsWhere);聚合刷新必须返回 error
- 附属数据改挂坐标键,Go 与 SQL 两套表达式逐位一致
- 脏备份的伪时间/越界坐标不再进领域模型;rows 循环统一 drainRows
- 合并与导出:writeRawRow 上抛错误、悬空引用清理、原生列补全

性能
- placeCols 相关子查询带 dataset_id 前导列;findSourceArchive 先按大小筛
- 批量勾选改 ANY($3::bigint[]);fillupCache 加上限;同一查询不再查两遍

另:新增「全新库」冒烟测试 —— 空库跑完 Migrate 再用应用侧读查询真打一遍,
迁移块排到依赖表之前这种错只有新库会炸,老库毫无症状。
This commit is contained in:
tamakyi
2026-09-24 20:37:16 +08:00
parent 78865fc736
commit b4c2a8452f
70 changed files with 5417 additions and 360 deletions
+46
View File
@@ -438,3 +438,49 @@ func abs(v float64) float64 {
}
return v
}
// TestEditPageSurvivesGarbageRawCoord 钉住「留档里的坐标不是数字时,编辑页照样打得开」。
//
// entity_raw 是原样存下来的 JSON,值不一定就是数字。以前那两列直接 `::float8`,
// 一条脏数据就能让整个数据编辑页 500:查询里还有 CASE / 正则等别的条件,表现是
// 「每次打开都 500、别的页面都正常」,很难一眼看出是哪一行哪一列的事。
func TestEditPageSurvivesGarbageRawCoord(t *testing.T) {
f := newMovementFixture(t)
var pk int
var orig []byte
if err := f.pg.QueryRowContext(f.ctx, `SELECT p.src_pk, r.raw FROM places p
JOIN entity_raw r ON r.dataset_id=p.dataset_id AND r.entity='ZLOCATION' AND r.src_pk=p.src_pk
WHERE p.dataset_id=$1 ORDER BY p.src_pk LIMIT 1`, f.dsID).Scan(&pk, &orig); err != nil {
t.Fatalf("找不到带留档的地点: %v", err)
}
t.Cleanup(func() {
f.pg.ExecContext(f.ctx, `UPDATE entity_raw SET raw=$1::jsonb
WHERE dataset_id=$2 AND entity='ZLOCATION' AND src_pk=$3`, string(orig), f.dsID, pk)
})
get := func() *httptest.ResponseRecorder {
t.Helper()
req := httptest.NewRequest("GET", "/admin/edit", nil).WithContext(f.ctx)
rec := httptest.NewRecorder()
f.srv.editPage(rec, req)
return rec
}
if rec := get(); rec.Code != 200 {
t.Fatalf("基线就渲染失败:%d", rec.Code)
}
// 坐标位置塞一个「像数字但不是数字」的字符串:旧那条正则 '^-?[0-9.]+$' 会放行它
if _, err := f.pg.ExecContext(f.ctx,
`UPDATE entity_raw SET raw = jsonb_set(raw, '{ZLATITUDE}', to_jsonb('1.2.3'::text))
WHERE dataset_id=$1 AND entity='ZLOCATION' AND src_pk=$2`, f.dsID, pk); err != nil {
t.Fatalf("写入脏留档失败: %v", err)
}
rec := get()
if rec.Code != 200 {
t.Fatalf("留档坐标不是数字时编辑页返回 %d,应照常 200", rec.Code)
}
if !strings.Contains(rec.Body.String(), "</html>") {
t.Error("页面被截断(没有收尾的 </html>)")
}
}