审计修复：后端（安全 / 数据一致性 / 性能）
audit-2026-09-21.md 里的后端条目落地。每条都配了回归守卫，并逐条做过变异验证 （注入原 bug → 确认按正确理由变红 → 还原 → 变绿）。 安全 - CSRF 只加同源 Origin/Referer 守卫（csrf.go），不动模板 - 会话 cookie 的 Secure 按请求判断；两步验证两闸（loginGuard + 验证码一次性） - 跳转收口到 safeInternalPath；clientIP 只认 XFF 最后一段 - GPX 按属主圈定且查 RowsAffected；下载名走 downloadDisposition - 上传口统一 MaxBytesReader；落盘后的失败路径清掉半成品 数据一致性 - 区域判定两端各过一遍再 AND（apiTrack 与 movementsWhere 对齐） - Filter.Verdict 全域一致（下推到 visitsWhere）；聚合刷新必须返回 error - 附属数据改挂坐标键，Go 与 SQL 两套表达式逐位一致 - 脏备份的伪时间/越界坐标不再进领域模型；rows 循环统一 drainRows - 合并与导出：writeRawRow 上抛错误、悬空引用清理、原生列补全 性能 - placeCols 相关子查询带 dataset_id 前导列；findSourceArchive 先按大小筛 - 批量勾选改 ANY($3::bigint[])；fillupCache 加上限；同一查询不再查两遍 另：新增「全新库」冒烟测试 —— 空库跑完 Migrate 再用应用侧读查询真打一遍， 迁移块排到依赖表之前这种错只有新库会炸，老库毫无症状。
This commit is contained in:
tamakyi
+35
-5
@@ -65,9 +65,19 @@ var popcount = func() [256]byte {
|
||||
return t
|
||||
}()
|
||||
|
||||
// tileDigits 返回瓦片编号的规范十进制串，不足两位补前导 0。
|
||||
// 文件名格式固定以 2 位 M2 尾缀结尾（见 tileName），单数字编号不补齐就无法往返。
|
||||
func tileDigits(id int) string {
|
||||
s := strconv.Itoa(id)
|
||||
if len(s) < 2 {
|
||||
return "0" + s
|
||||
}
|
||||
return s
|
||||
}
|
||||
|
||||
// tileIDFromName 从文件名还原瓦片编号，并校验 md5 前缀与 M2 尾缀。
|
||||
func tileIDFromName(name string) (int, bool) {
|
||||
if len(name) < 7 || len(name[4:]) < 3 {
|
||||
if len(name) < 8 || len(name[4:]) < 4 {
|
||||
return 0, false
|
||||
}
|
||||
digits := make([]byte, 0, len(name))
|
||||
@@ -82,7 +92,7 @@ func tileIDFromName(name string) (int, bool) {
|
||||
if err != nil {
|
||||
return 0, false
|
||||
}
|
||||
s := strconv.Itoa(id)
|
||||
s := tileDigits(id)
|
||||
if fmt.Sprintf("%x", md5.Sum([]byte(s)))[:4] != name[:4] {
|
||||
return 0, false
|
||||
}
|
||||
@@ -97,7 +107,7 @@ func tileIDFromName(name string) (int, bool) {
|
||||
|
||||
// tileName 把瓦片编号编码回文件名。
|
||||
func tileName(id int) string {
|
||||
s := strconv.Itoa(id)
|
||||
s := tileDigits(id)
|
||||
sum := fmt.Sprintf("%x", md5.Sum([]byte(s)))
|
||||
var b strings.Builder
|
||||
b.WriteString(sum[:4])
|
||||
@@ -110,6 +120,15 @@ func tileName(id int) string {
|
||||
return b.String()
|
||||
}
|
||||
|
||||
// maxTileRawBytes / maxTileZBytes 是单个迷雾瓦片的「压缩后 / 解压后」上限。
|
||||
// 实测瓦片压缩后约 250KB；解压后结构上最多 headerSize + 65535*blockSize ≈ 33MB
|
||||
// （头部的每个索引是 uint16），给到 64MB 已足够宽松。不设上限的话，
|
||||
// 一个几 KB 的 zip bomb 就能把 1C1G 的机器打爆。
|
||||
const (
|
||||
maxTileRawBytes = 16 << 20
|
||||
maxTileZBytes = 64 << 20
|
||||
)
|
||||
|
||||
// Decode 读取 .fwss（或任何包含迷雾瓦片文件的 zip），返回去重后的块与格子总数。
|
||||
// 兼容 Model/*/、Sync/、根目录等布局：凡文件名能通过瓦片校验的都算。
|
||||
func Decode(data []byte) ([]Block, int, error) {
|
||||
@@ -131,11 +150,14 @@ func Decode(data []byte) ([]Block, int, error) {
|
||||
if err != nil {
|
||||
return nil, 0, fmt.Errorf("读取 %s: %w", f.Name, err)
|
||||
}
|
||||
raw, err := io.ReadAll(rc)
|
||||
raw, err := io.ReadAll(io.LimitReader(rc, maxTileRawBytes+1))
|
||||
rc.Close()
|
||||
if err != nil {
|
||||
return nil, 0, fmt.Errorf("读取 %s: %w", f.Name, err)
|
||||
}
|
||||
if len(raw) > maxTileRawBytes {
|
||||
return nil, 0, fmt.Errorf("瓦片 %s 压缩后超过 %d 字节，疑似异常快照", f.Name, maxTileRawBytes)
|
||||
}
|
||||
zdata, err := zlibDecompress(raw)
|
||||
if err != nil {
|
||||
return nil, 0, fmt.Errorf("解压 %s: %w", f.Name, err)
|
||||
@@ -196,7 +218,15 @@ func zlibDecompress(raw []byte) ([]byte, error) {
|
||||
return nil, err
|
||||
}
|
||||
defer zr.Close()
|
||||
return io.ReadAll(zr)
|
||||
out, err := io.ReadAll(io.LimitReader(zr, maxTileZBytes+1))
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
// zlib 流本身可以解出任意长度，必须在读的时候掐住
|
||||
if len(out) > maxTileZBytes {
|
||||
return nil, fmt.Errorf("解压后超过 %d 字节，疑似 zip bomb", maxTileZBytes)
|
||||
}
|
||||
return out, nil
|
||||
}
|
||||
|
||||
// Encode 把块集还原成 .fwss 结构（Model/*/ 由块重建），可用于导出与再导入。
|
||||
|
||||
@@ -0,0 +1,78 @@
|
||||
package fog
|
||||
|
||||
import (
|
||||
"archive/zip"
|
||||
"bytes"
|
||||
"compress/zlib"
|
||||
"strings"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// TestZlibDecompressRejectsBomb 守住「zlib 流能解出任意长度」这个口子。
|
||||
// 几十 MB 的全零数据压出来只有几十 KB，解压时不设上限就是一个标准 zip bomb——
|
||||
// 上传接口只有站长能用，但 1C1G 的机器被打爆一次就够受。
|
||||
func TestZlibDecompressRejectsBomb(t *testing.T) {
|
||||
var buf bytes.Buffer
|
||||
zw := zlib.NewWriter(&buf)
|
||||
zeros := make([]byte, 1<<20)
|
||||
written := 0
|
||||
for written <= maxTileZBytes {
|
||||
if _, err := zw.Write(zeros); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
written += len(zeros)
|
||||
}
|
||||
if err := zw.Close(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Logf("构造出 %d 字节的 zlib 流，解压后 %d 字节", buf.Len(), written)
|
||||
|
||||
if _, err := zlibDecompress(buf.Bytes()); err == nil {
|
||||
t.Errorf("解压出 %d 字节（上限 %d）的流应当被拒绝", written, maxTileZBytes)
|
||||
} else {
|
||||
t.Logf("已拒绝: %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
// TestZlibDecompressNormalStream 反向确认：正常大小的流仍能原样解出，
|
||||
// 免得上面那条把限额做得太紧、把真快照也一起挡了。
|
||||
func TestZlibDecompressNormalStream(t *testing.T) {
|
||||
var buf bytes.Buffer
|
||||
zw := zlib.NewWriter(&buf)
|
||||
want := strings.Repeat("rond", 4096)
|
||||
if _, err := zw.Write([]byte(want)); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
zw.Close()
|
||||
|
||||
got, err := zlibDecompress(buf.Bytes())
|
||||
if err != nil {
|
||||
t.Fatalf("正常流不该被拒: %v", err)
|
||||
}
|
||||
if string(got) != want {
|
||||
t.Errorf("解压结果不一致: %d 字节 → %d 字节", len(want), len(got))
|
||||
}
|
||||
}
|
||||
|
||||
// TestDecodeRejectsOversizedTileEntry 确认 Decode 这一层也限住了「压缩后」的体积：
|
||||
// 条目本身就超限时直接报错，而不是先整个读进内存再判断。
|
||||
func TestDecodeRejectsOversizedTileEntry(t *testing.T) {
|
||||
var buf bytes.Buffer
|
||||
zw := zip.NewWriter(&buf)
|
||||
w, err := zw.Create("Model/*/" + tileName(42))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if _, err := w.Write([]byte(strings.Repeat("x", maxTileRawBytes+1))); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if err := zw.Close(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
|
||||
if _, _, err := Decode(buf.Bytes()); err == nil {
|
||||
t.Errorf("压缩后超过 %d 字节的瓦片应当被拒绝", maxTileRawBytes)
|
||||
} else {
|
||||
t.Logf("已拒绝: %v", err)
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,48 @@
|
||||
package fog
|
||||
|
||||
import (
|
||||
"crypto/md5"
|
||||
"fmt"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// 瓦片编号 0..9 是合法的（tx=0, ty=0 那块就是 0），编码/解码都必须能往返。
|
||||
func TestTileNameRoundtripAllIDs(t *testing.T) {
|
||||
for _, id := range []int{0, 1, 5, 9, 10, 11, 99, 100, 511, 512, 262143, 1 << 20} {
|
||||
name := tileName(id)
|
||||
got, ok := tileIDFromName(name)
|
||||
if !ok || got != id {
|
||||
t.Errorf("id=%d → name=%q → (%d,%v)，往返不一致", id, name, got, ok)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 4 位 md5("5") 前缀 + mask1 掩码 + 2 位 M2 尾缀 = 7 字节：旧的长度守卫会放行、
|
||||
// md5 校验也通过，随后在 s[len(s)-2+i] 处越界 panic（上传构造过的 .fwss 即可触发）。
|
||||
func TestTileIDFromNameRejectsCraftedShortName(t *testing.T) {
|
||||
name := fmt.Sprintf("%x", md5.Sum([]byte("5")))[:4] +
|
||||
string(mask1[5]) + string(mask2[5]) + string(mask2[5])
|
||||
if len(name) != 7 {
|
||||
t.Fatalf("构造名长度应为 7，实为 %d (%q)", len(name), name)
|
||||
}
|
||||
if id, ok := tileIDFromName(name); ok {
|
||||
t.Fatalf("构造名 %q 不应被接受（解出 id=%d）", name, id)
|
||||
}
|
||||
}
|
||||
|
||||
// 网格第一列（tx=0）的瓦片编号就是 0..9，Encode 不能 panic，且能原样解回。
|
||||
func TestEncodeHandlesSingleDigitTile(t *testing.T) {
|
||||
bm := make([]byte, bitmapSize)
|
||||
bm[0] = 0x80
|
||||
data, err := Encode([]Block{{GX: 0, GY: 0, Bitmap: bm}}, nil)
|
||||
if err != nil {
|
||||
t.Fatalf("Encode: %v", err)
|
||||
}
|
||||
blocks, cells, err := Decode(data)
|
||||
if err != nil {
|
||||
t.Fatalf("Decode: %v", err)
|
||||
}
|
||||
if len(blocks) != 1 || blocks[0].GX != 0 || blocks[0].GY != 0 || cells != 1 {
|
||||
t.Fatalf("往返得到 %+v (cells=%d)，期望 1 块 (0,0)、1 格", blocks, cells)
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user