审计修复:后端(安全 / 数据一致性 / 性能)

audit-2026-09-21.md 里的后端条目落地。每条都配了回归守卫,并逐条做过变异验证
(注入原 bug → 确认按正确理由变红 → 还原 → 变绿)。

安全
- CSRF 只加同源 Origin/Referer 守卫(csrf.go),不动模板
- 会话 cookie 的 Secure 按请求判断;两步验证两闸(loginGuard + 验证码一次性)
- 跳转收口到 safeInternalPath;clientIP 只认 XFF 最后一段
- GPX 按属主圈定且查 RowsAffected;下载名走 downloadDisposition
- 上传口统一 MaxBytesReader;落盘后的失败路径清掉半成品

数据一致性
- 区域判定两端各过一遍再 AND(apiTrack 与 movementsWhere 对齐)
- Filter.Verdict 全域一致(下推到 visitsWhere);聚合刷新必须返回 error
- 附属数据改挂坐标键,Go 与 SQL 两套表达式逐位一致
- 脏备份的伪时间/越界坐标不再进领域模型;rows 循环统一 drainRows
- 合并与导出:writeRawRow 上抛错误、悬空引用清理、原生列补全

性能
- placeCols 相关子查询带 dataset_id 前导列;findSourceArchive 先按大小筛
- 批量勾选改 ANY($3::bigint[]);fillupCache 加上限;同一查询不再查两遍

另:新增「全新库」冒烟测试 —— 空库跑完 Migrate 再用应用侧读查询真打一遍,
迁移块排到依赖表之前这种错只有新库会炸,老库毫无症状。
This commit is contained in:
tamakyi
2026-09-24 20:37:16 +08:00
parent 78865fc736
commit b4c2a8452f
70 changed files with 5417 additions and 360 deletions
+35 -5
View File
@@ -65,9 +65,19 @@ var popcount = func() [256]byte {
return t
}()
// tileDigits 返回瓦片编号的规范十进制串,不足两位补前导 0。
// 文件名格式固定以 2 位 M2 尾缀结尾(见 tileName),单数字编号不补齐就无法往返。
func tileDigits(id int) string {
s := strconv.Itoa(id)
if len(s) < 2 {
return "0" + s
}
return s
}
// tileIDFromName 从文件名还原瓦片编号,并校验 md5 前缀与 M2 尾缀。
func tileIDFromName(name string) (int, bool) {
if len(name) < 7 || len(name[4:]) < 3 {
if len(name) < 8 || len(name[4:]) < 4 {
return 0, false
}
digits := make([]byte, 0, len(name))
@@ -82,7 +92,7 @@ func tileIDFromName(name string) (int, bool) {
if err != nil {
return 0, false
}
s := strconv.Itoa(id)
s := tileDigits(id)
if fmt.Sprintf("%x", md5.Sum([]byte(s)))[:4] != name[:4] {
return 0, false
}
@@ -97,7 +107,7 @@ func tileIDFromName(name string) (int, bool) {
// tileName 把瓦片编号编码回文件名。
func tileName(id int) string {
s := strconv.Itoa(id)
s := tileDigits(id)
sum := fmt.Sprintf("%x", md5.Sum([]byte(s)))
var b strings.Builder
b.WriteString(sum[:4])
@@ -110,6 +120,15 @@ func tileName(id int) string {
return b.String()
}
// maxTileRawBytes / maxTileZBytes 是单个迷雾瓦片的「压缩后 / 解压后」上限。
// 实测瓦片压缩后约 250KB;解压后结构上最多 headerSize + 65535*blockSize ≈ 33MB
// (头部的每个索引是 uint16),给到 64MB 已足够宽松。不设上限的话,
// 一个几 KB 的 zip bomb 就能把 1C1G 的机器打爆。
const (
maxTileRawBytes = 16 << 20
maxTileZBytes = 64 << 20
)
// Decode 读取 .fwss(或任何包含迷雾瓦片文件的 zip),返回去重后的块与格子总数。
// 兼容 Model/*/、Sync/、根目录等布局:凡文件名能通过瓦片校验的都算。
func Decode(data []byte) ([]Block, int, error) {
@@ -131,11 +150,14 @@ func Decode(data []byte) ([]Block, int, error) {
if err != nil {
return nil, 0, fmt.Errorf("读取 %s: %w", f.Name, err)
}
raw, err := io.ReadAll(rc)
raw, err := io.ReadAll(io.LimitReader(rc, maxTileRawBytes+1))
rc.Close()
if err != nil {
return nil, 0, fmt.Errorf("读取 %s: %w", f.Name, err)
}
if len(raw) > maxTileRawBytes {
return nil, 0, fmt.Errorf("瓦片 %s 压缩后超过 %d 字节,疑似异常快照", f.Name, maxTileRawBytes)
}
zdata, err := zlibDecompress(raw)
if err != nil {
return nil, 0, fmt.Errorf("解压 %s: %w", f.Name, err)
@@ -196,7 +218,15 @@ func zlibDecompress(raw []byte) ([]byte, error) {
return nil, err
}
defer zr.Close()
return io.ReadAll(zr)
out, err := io.ReadAll(io.LimitReader(zr, maxTileZBytes+1))
if err != nil {
return nil, err
}
// zlib 流本身可以解出任意长度,必须在读的时候掐住
if len(out) > maxTileZBytes {
return nil, fmt.Errorf("解压后超过 %d 字节,疑似 zip bomb", maxTileZBytes)
}
return out, nil
}
// Encode 把块集还原成 .fwss 结构(Model/*/ 由块重建),可用于导出与再导入。