tamabox

181 Commits 1 Branch 0 Tags

3 Commits

Include renames

Author	SHA1	Message	Date
tamakyi	d690355cdc	feat(honeypot): 蜜罐安全状况周期汇总（周报/月报 + 地图 + 邮件）以周/月为单位汇总蜜罐命中，把来源 IP 通过公共服务查地理位置，画到地图上，生成 HTML 报告并发邮件。同时补齐 ipinfo 无法回答「这个 IP 在哪儿」的问题。新增 IP 地理定位层 internal/security/geoip： - 与 internal/security/ipinfo 正交。ipinfo 走 cdncheck 离线指纹，只认云厂商/CDN/WAF，答的是「是不是代理」；肉鸡（家宽、企业宽带、移动网络）必然被判为「未识别（普通网络）」，所以「在哪儿」必须另建一套。 - ip-api.com 批量打底（100 个/请求、1.4s 节流）+ 腾讯位置服务精修国内（一 IP 一请求，只精修命中数最高的前 N 个，受 ip_geo_tencent_key 控制）。 - Result{Geo, Unresolved, Requests, Failures} 三态。服务明确回答「没有这个地址」才允许写失败缓存；请求超时/限流/5xx 一律不写 —— 否则一次抖动会把整批 IP 钉成「查不到」三天，此后每份报告的定位覆盖率都莫名变成 0。 - addrs 按调用方给的顺序构建（不是 map 遍历）：腾讯精修只取前 N 个，乱序会让每次运行精修到不同 IP，配额花在长尾上。报告生成 internal/security/report： - period：PreviousWeek / PreviousMonth，窗口一律 [start, end) 左闭右开，相邻两期不重叠也不漏边界整点；period_key（week:2026-W44）做幂等。 - aggregate：按 shared.LimitKey 合并（IPv4 精确 / IPv6 折 /64）；国家、城市、路径、每日趋势；显式统计未定位命中数（覆盖率 60% 的图看起来和 100% 一样）。 - mapdraw：自绘等距圆柱投影气泡图。零海岸线零国界 —— 国界/台湾/南海诸岛绘制必须符合国家标准，自绘极易画错，真实底图交给腾讯。经纬网 + 度数刻度 + 标签防重叠（同一都市圈两城市坐标差 0.01°，曾把「AU 55」和「AU 30」叠成看起来像 AU 305 的假数字）。 - html：自包含报告页，内嵌 SVG + 腾讯交互地图（无 key 时给申请指引，代码里不预置任何 key）。 - countryname：港澳台统一显示「中国香港/中国澳门/中国台湾」，常见国家用中文名。存储与调度： - ip_geo_cache（主键 = LimitKey，成功 TTL 90 天 / 明确无数据 TTL 3 天） - security_report_logs（period_key 唯一索引 → 重启、错过时间窗都能正确补发，失败重试上限 5 次后停止） - honeypot report --period week\|month [--to] [--dir] [--no-email] - web 启动时按配置挂 30 分钟一轮的调度器（与保留期清理共用停止信号， defer 移出 if 外，避免「清理关掉、报告开着」时 goroutine 泄漏）配置（[security]）：ip_geo_provider=auto\|ipapi\|tencent\|none、ip_geo_tencent_key、 honeypot_report_enabled / _weekly / _monthly / _email / _dir。顺带修复： - route/honeypot_test.go 的 captureStore 缺 AggregateSources/AggregatePaths/ TimestampsBetween，整个 route 包编译不过。 - templates/render_test.go 的 mockLoggedUser 缺 TelegramChatID，3 个渲染测试失败。	2026-10-30 16:40:44 +08:00
tamakyi	c29e1d071f	fix(honeypot): 补齐封禁装配与诱捕语义，凭据外置为文件不再入库一、封禁链路整条没接上（P0，已实测复现） route.New 的 autoban.New 漏传 HoneypotEnabled/Threshold/Duration，而 RecordHoneypot 首行就是 `if !b.honeypotEnabled { return false }` → 蜜罐命中从不封禁、落库 banned 恒 false、IsBanned 永不为真。同一批改动又把中间件里蜜罐路径的常规计数也跳过了，净效果是蜜罐路径从「10 次封禁」退化为零计数零封禁 —— 是 regression 不是修复。处理：抽 newBanner() 作为唯一装配入口并补齐参数；新增 banner_config_test 四个用例（全部经由 newBanner，不再自建 Banner）。变异验证：分别把 HoneypotEnabled 置 false、HoneypotThreshold 置 0，对应用例按预期失败。二、诱捕语义（审计时漏掉，比上面更影响功能价值）原实现对所有方法计数且阈值 1 → 扫描器 GET 一次假登录页就吃 403，永远走不到「POST 提交账号密码」那一步，蜜罐的核心价值（拿到字典）归零。处理：提交凭据 → RecordHoneypot（不受 enable_auto_ban 约束，立即封）；纯探测 → 常规 Record（阈值 10）。新增 TestHoneypotProbeDoesNotBanImmediately，变异验证：把 GET 也塞进 RecordHoneypot，测试按预期失败。三、落库边界（实测取证，非推断） - Path 原样落库而列宽 512 → PG `SQLSTATE 22001 值太长了(512)`，整条证据丢失；实测 600 字符失败、500 字符成功； - 三处按字节截断 → `SQLSTATE 22021 无效的 "UTF8" 编码字节顺序`（中文密码/URL 可稳定触发）。统一改 rune 截断并按列宽逐项对齐。四、资源与噪音 - alerted 无界 map → 带 TTL 的 deduper（上限 2 万，过期清理 + 超限硬裁），同时承担告警 24h 冷却与纯探测落库采样（每 IP 每分钟一条）—— GET 洪泛不再变成等量 INSERT； - credentialKeys 去掉 id/name，普通 JSON 探测不再被误判为凭据提交并触发假告警； - canary 从 meta generator 移到 HTML 注释，generator 伪装成 WordPress，不再同时向扫描器自曝「这是蜜罐」和「这站是 TamaBox」； - serveLoginFailure 复用 WriteLoginPage，不再手抄响应头（已开始漂移）； - Describer 死代码 → Prefixes()，接到新命令 honeypot paths； - honeypot_paths 解析挪到 honeypot.SplitPaths（CLI 与 route 共用），补前导斜杠、拒绝 "/"（会让所有 404 变假登录页）。五、凭据外置：数据库不再存用户名/密码明文账号密码一旦入库就会跟着进备份、主从复制与任何能连库的报表工具，事后无法彻底清除。改为： - 新增 honeypot.CredRecord/CredStore：按天文件 creds-YYYY-MM-DD.jsonl，目录 0700、文件 0600、坏行跳过、PurgeBefore 只删整天过期的文件； - db.HoneypotHit 删掉 Username/Password/Fields/RawBody，只留 HadFields 元数据； - HoneypotStore 删掉 TopCredentials/ListSinceByIP（CLI 改读文件后零调用）； - 新增 LegacyCredentialColumns/PurgeLegacyCredentialColumns：AutoMigrate 不删既有列，老库升级后历史明文仍在 → 启动 WARN + `honeypot purge-creds` 显式 DROP； - 清理器 HoneypotRetention 增加 CredPurgeable 参数，与 DB 记录共用保留期； honeypot prune 也一并删过期凭据文件； - CLI：hits 不再连库（DB 挂了也能查），stats 的凭据排行读文件； - 配置 honeypot_cred_dir（缺省 data/honeypot-creds），.gitignore 加 /data/。验证：go build ./... / go vet ./internal/... / go test ./...（含 PostgreSQL）全绿；新增 credstore_test（追加/倒序/IP 过滤/坏行/Top/Purge/权限）、 TestHoneypotLegacyCredentialColumns（ADD COLUMN 模拟老库 → 检测 → DROP）、 TestHoneypotWritesCredentialsToFile；CLI 端到端手动验证 hits/--ip/--show-password。	2026-10-21 15:43:25 +08:00
tamakyi	d300167a30	fix(conf): 配置键名容错 + 未知键告警 + 蜜罐保留期缺省值修正现场故障：配置写 `honeypot_retention_days <= 30`，日志却报「蜜罐自动清理未启用：honeypot_retention_days <= 0」。根因（实测 ini v1.67.0 行为确认）： 1. 键名多一个 t（retention vs retain）→ ini 对未知键静默忽略，保留期成 0； 2. `<= 30` 这种写法让 ini 把键名解析成 "honeypot_retention_days <" （带尾随比较符），更加匹配不上； 3. 警告文案里写的也是错键名，等于在误导运维往错的键上配。修复（三层）： - 键名归一化（internal/conf/keynorm.go）：修剪首尾空白、剥掉尾随 `<` `>` `=` 等比较符残留，并按别名表纠正常见误拼。归一化结果必须命中该段合法键名白名单才会被采用 —— 不认识的键不猜，交给未知键告警。 - 未知键告警（internal/conf/unknown.go）：启动时逐段比对键名，无法识别的键 WARN 出来并给出最接近的合法键名建议。合法键名由反射从结构体 ini tag 得出（单一事实来源，新增配置项自动纳入，不会脱节）。 - 缺省值语义修正（internal/conf/honeypot_defaults.go）： * 保留期缺省 30 天（原先零值 0 = 永不清理）；显式 <= 0 也回退 30。要关闭自动清理请用 honeypot_auto_clean = false。 * honeypot_auto_clean 缺省 true。原先靠 bool 零值，ini 的 bool 解析是「有键才赋值」，未配置与显式关闭无法区分 → 老配置升级上来自动清理实际是关着的。现改用 HasKey 判定。 * honeypot_max_rows 缺省 200000；显式 0 = 不限（会告警提醒只增不减）。 * honeypot_threshold 缺省 1。实测 ini 行为（探针程序，已删）： - 键缺失或值非法时 MapTo 不覆盖预置默认值 → 可安全预置缺省值； - 键名大小写敏感（Honeypot_Auto_Clean 不生效）； - HasKey 能区分「缺失」与「显式 0」； - 段不存在时 MapTo 返回 nil 且不修改目标。顺带清理 app.sample.ini 里的两条死配置（app.title / server.xsrf_expire）：代码中从未读取（站点标题走 i18n），留着会让新检测对官方模板误报。验证： - 用现场原始配置端到端复现 → 归一化后保留期 30 天、自动清理开启、上限 20 万，日志明确说明「配置键名已自动纠正」； - 误拼键（honeypot_autoclean / honeypot_max_row）自动纠正；未知键（totally_bogus） WARN 告警； - 显式 honeypot_auto_clean = false 被尊重为关闭；完全未配置时缺省开启； - 新增 TestSampleIniHasNoUnknownKeys 回归检测：官方样例配置零误报； - go build ./... + go test -timeout 600s ./... 全绿，go vet 无输出。	2026-10-21 13:41:19 +08:00

Author

SHA1

Message

Date

tamakyi

d690355cdc

feat(honeypot): 蜜罐安全状况周期汇总（周报/月报 + 地图 + 邮件）

以周/月为单位汇总蜜罐命中，把来源 IP 通过公共服务查地理位置，画到地图上，
生成 HTML 报告并发邮件。同时补齐 ipinfo 无法回答「这个 IP 在哪儿」的问题。

新增 IP 地理定位层 internal/security/geoip：
- 与 internal/security/ipinfo 正交。ipinfo 走 cdncheck 离线指纹，只认云厂商/CDN/WAF，
  答的是「是不是代理」；肉鸡（家宽、企业宽带、移动网络）必然被判为
  「未识别（普通网络）」，所以「在哪儿」必须另建一套。
- ip-api.com 批量打底（100 个/请求、1.4s 节流）+ 腾讯位置服务精修国内
  （一 IP 一请求，只精修命中数最高的前 N 个，受 ip_geo_tencent_key 控制）。
- Result{Geo, Unresolved, Requests, Failures} 三态。服务明确回答「没有这个地址」
  才允许写失败缓存；请求超时/限流/5xx 一律不写 —— 否则一次抖动会把整批 IP
  钉成「查不到」三天，此后每份报告的定位覆盖率都莫名变成 0。
- addrs 按调用方给的顺序构建（不是 map 遍历）：腾讯精修只取前 N 个，乱序会让
  每次运行精修到不同 IP，配额花在长尾上。

报告生成 internal/security/report：
- period：PreviousWeek / PreviousMonth，窗口一律 [start, end) 左闭右开，
  相邻两期不重叠也不漏边界整点；period_key（week:2026-W44）做幂等。
- aggregate：按 shared.LimitKey 合并（IPv4 精确 / IPv6 折 /64）；国家、城市、
  路径、每日趋势；显式统计未定位命中数（覆盖率 60% 的图看起来和 100% 一样）。
- mapdraw：自绘等距圆柱投影气泡图。零海岸线零国界 —— 国界/台湾/南海诸岛绘制
  必须符合国家标准，自绘极易画错，真实底图交给腾讯。经纬网 + 度数刻度 +
  标签防重叠（同一都市圈两城市坐标差 0.01°，曾把「AU 55」和「AU 30」叠成
  看起来像 AU 305 的假数字）。
- html：自包含报告页，内嵌 SVG + 腾讯交互地图（无 key 时给申请指引，
  代码里不预置任何 key）。
- countryname：港澳台统一显示「中国香港/中国澳门/中国台湾」，常见国家用中文名。

存储与调度：
- ip_geo_cache（主键 = LimitKey，成功 TTL 90 天 / 明确无数据 TTL 3 天）
- security_report_logs（period_key 唯一索引 → 重启、错过时间窗都能正确补发，
  失败重试上限 5 次后停止）
- honeypot report --period week|month [--to] [--dir] [--no-email]
- web 启动时按配置挂 30 分钟一轮的调度器（与保留期清理共用停止信号，
  defer 移出 if 外，避免「清理关掉、报告开着」时 goroutine 泄漏）

配置（[security]）：ip_geo_provider=auto|ipapi|tencent|none、ip_geo_tencent_key、
honeypot_report_enabled / _weekly / _monthly / _email / _dir。

顺带修复：
- route/honeypot_test.go 的 captureStore 缺 AggregateSources/AggregatePaths/
  TimestampsBetween，整个 route 包编译不过。
- templates/render_test.go 的 mockLoggedUser 缺 TelegramChatID，3 个渲染测试失败。

2026-10-30 16:40:44 +08:00

tamakyi

c29e1d071f

fix(honeypot): 补齐封禁装配与诱捕语义，凭据外置为文件不再入库

一、封禁链路整条没接上（P0，已实测复现）
route.New 的 autoban.New 漏传 HoneypotEnabled/Threshold/Duration，而
RecordHoneypot 首行就是 `if !b.honeypotEnabled { return false }`
→ 蜜罐命中从不封禁、落库 banned 恒 false、IsBanned 永不为真。
同一批改动又把中间件里蜜罐路径的常规计数也跳过了，净效果是蜜罐路径
从「10 次封禁」退化为零计数零封禁 —— 是 regression 不是修复。
处理：抽 newBanner() 作为唯一装配入口并补齐参数；新增 banner_config_test
四个用例（全部经由 newBanner，不再自建 Banner）。变异验证：分别把
HoneypotEnabled 置 false、HoneypotThreshold 置 0，对应用例按预期失败。

二、诱捕语义（审计时漏掉，比上面更影响功能价值）
原实现对**所有方法**计数且阈值 1 → 扫描器 GET 一次假登录页就吃 403，
永远走不到「POST 提交账号密码」那一步，蜜罐的核心价值（拿到字典）归零。
处理：提交凭据 → RecordHoneypot（不受 enable_auto_ban 约束，立即封）；
纯探测 → 常规 Record（阈值 10）。新增 TestHoneypotProbeDoesNotBanImmediately，
变异验证：把 GET 也塞进 RecordHoneypot，测试按预期失败。

三、落库边界（实测取证，非推断）
- Path 原样落库而列宽 512 → PG `SQLSTATE 22001 值太长了(512)`，整条证据丢失；
  实测 600 字符失败、500 字符成功；
- 三处按字节截断 → `SQLSTATE 22021 无效的 "UTF8" 编码字节顺序`（中文密码/URL
  可稳定触发）。统一改 rune 截断并按列宽逐项对齐。

四、资源与噪音
- alerted 无界 map → 带 TTL 的 deduper（上限 2 万，过期清理 + 超限硬裁），
  同时承担告警 24h 冷却与纯探测落库采样（每 IP 每分钟一条）——
  GET 洪泛不再变成等量 INSERT；
- credentialKeys 去掉 id/name，普通 JSON 探测不再被误判为凭据提交并触发假告警；
- canary 从 meta generator 移到 HTML 注释，generator 伪装成 WordPress，
  不再同时向扫描器自曝「这是蜜罐」和「这站是 TamaBox」；
- serveLoginFailure 复用 WriteLoginPage，不再手抄响应头（已开始漂移）；
- Describer 死代码 → Prefixes()，接到新命令 honeypot paths；
- honeypot_paths 解析挪到 honeypot.SplitPaths（CLI 与 route 共用），
  补前导斜杠、拒绝 "/"（会让所有 404 变假登录页）。

五、凭据外置：数据库不再存用户名/密码
明文账号密码一旦入库就会跟着进备份、主从复制与任何能连库的报表工具，
事后无法彻底清除。改为：
- 新增 honeypot.CredRecord/CredStore：按天文件 creds-YYYY-MM-DD.jsonl，
  目录 0700、文件 0600、坏行跳过、PurgeBefore 只删整天过期的文件；
- db.HoneypotHit 删掉 Username/Password/Fields/RawBody，只留 HadFields 元数据；
- HoneypotStore 删掉 TopCredentials/ListSinceByIP（CLI 改读文件后零调用）；
- 新增 LegacyCredentialColumns/PurgeLegacyCredentialColumns：AutoMigrate 不删
  既有列，老库升级后历史明文仍在 → 启动 WARN + `honeypot purge-creds` 显式 DROP；
- 清理器 HoneypotRetention 增加 CredPurgeable 参数，与 DB 记录共用保留期；
  honeypot prune 也一并删过期凭据文件；
- CLI：hits 不再连库（DB 挂了也能查），stats 的凭据排行读文件；
- 配置 honeypot_cred_dir（缺省 data/honeypot-creds），.gitignore 加 /data/。

验证：go build ./... / go vet ./internal/... / go test ./...（含 PostgreSQL）全绿；
新增 credstore_test（追加/倒序/IP 过滤/坏行/Top/Purge/权限）、
TestHoneypotLegacyCredentialColumns（ADD COLUMN 模拟老库 → 检测 → DROP）、
TestHoneypotWritesCredentialsToFile；CLI 端到端手动验证 hits/--ip/--show-password。

2026-10-21 15:43:25 +08:00

tamakyi

d300167a30

fix(conf): 配置键名容错 + 未知键告警 + 蜜罐保留期缺省值修正

现场故障：配置写 `honeypot_retention_days <= 30`，日志却报
「蜜罐自动清理未启用：honeypot_retention_days <= 0」。

根因（实测 ini v1.67.0 行为确认）：
1. 键名多一个 t（retention vs retain）→ ini 对未知键**静默忽略**，保留期成 0；
2. `<= 30` 这种写法让 ini 把键名解析成 "honeypot_retention_days <"
   （带尾随比较符），更加匹配不上；
3. 警告文案里写的也是错键名，等于在误导运维往错的键上配。

修复（三层）：
- 键名归一化（internal/conf/keynorm.go）：修剪首尾空白、剥掉尾随 `<` `>`
  `=` 等比较符残留，并按别名表纠正常见误拼。归一化结果必须命中该段
  合法键名白名单才会被采用 —— 不认识的键不猜，交给未知键告警。
- 未知键告警（internal/conf/unknown.go）：启动时逐段比对键名，无法识别的
  键 WARN 出来并给出最接近的合法键名建议。合法键名由反射从结构体 ini tag
  得出（单一事实来源，新增配置项自动纳入，不会脱节）。
- 缺省值语义修正（internal/conf/honeypot_defaults.go）：
  * 保留期缺省 30 天（原先零值 0 = 永不清理）；显式 <= 0 也回退 30。
    要关闭自动清理请用 honeypot_auto_clean = false。
  * honeypot_auto_clean 缺省 true。原先靠 bool 零值，ini 的 bool 解析是
    「有键才赋值」，未配置与显式关闭无法区分 → 老配置升级上来自动清理
    实际是关着的。现改用 HasKey 判定。
  * honeypot_max_rows 缺省 200000；显式 0 = 不限（会告警提醒只增不减）。
  * honeypot_threshold 缺省 1。

实测 ini 行为（探针程序，已删）：
- 键缺失或值非法时 MapTo **不覆盖**预置默认值 → 可安全预置缺省值；
- 键名大小写敏感（Honeypot_Auto_Clean 不生效）；
- HasKey 能区分「缺失」与「显式 0」；
- 段不存在时 MapTo 返回 nil 且不修改目标。

顺带清理 app.sample.ini 里的两条死配置（app.title / server.xsrf_expire）：
代码中从未读取（站点标题走 i18n），留着会让新检测对官方模板误报。

验证：
- 用现场原始配置端到端复现 → 归一化后保留期 30 天、自动清理开启、上限 20 万，
  日志明确说明「配置键名已自动纠正」；
- 误拼键（honeypot_autoclean / honeypot_max_row）自动纠正；未知键（totally_bogus）
  WARN 告警；
- 显式 honeypot_auto_clean = false 被尊重为关闭；完全未配置时缺省开启；
- 新增 TestSampleIniHasNoUnknownKeys 回归检测：官方样例配置零误报；
- go build ./... + go test -timeout 600s ./... 全绿，go vet 无输出。

2026-10-21 13:41:19 +08:00