tamabox

145 Commits 1 Branch 0 Tags

2 Commits

Include renames

Author	SHA1	Message	Date
tamakyi	818fa74160	fix(honeypot): 取证记精确地址、封禁用 /64 键，并补建封与拦截日志线上实测：IPv6 访问蜜罐后收到「你的 IP 已被封禁」，邮件里却是 `2408:…::/64` —— 既不像自己的地址，也说不清封了多大范围；同时用户自己仍能正常访问，看日志也无从判断到底有没有封。根因是「取证地址」与「封禁键」混用同一个变量（都取 LimitKey 的折叠值）： - 取证丢掉精确 IPv6 后 64 位，事后无法定位到具体主机、没法和其他日志对账； - 邮件只给聚合键，运维第一反应是「不是我」，排查方向直接被带偏。改动： - Serve 拆 clientIP（ResolveClientIP，精确）与 banKey（LimitKey，/64）： DB / 凭据文件 / 告警邮件用前者，封禁 / 探测采样 / 告警去重用后者； - autoban.Options 新增 OnBan 回调（保持纯标准库、不引入 logrus）， route.newBanner 注入后每次建封打 WARN：ban_key / reason / duration / expires_at；中间件 403 分支加 Debug 日志（被封者会持续请求，Info 会被刷屏）； - 告警邮件新增「封禁范围」行，仅 ip != ban_key 时渲染（IPv4 不重复显示），顺带把过时的「已入库」改为「写入取证文件」——凭据早就外置了； - honeypot stats 的来源排行改按 LimitKey 合并，否则 IPv6 轮换地址会把排行碎成几十条各 1 次的记录；合并口径与封禁完全一致。测试（每项都做了变异验证：改坏→确认变红→恢复）： - TestHoneypotRecordsExactIPv6ButBansByPrefix：精确地址进 DB 与凭据文件、 /64 才是封禁键、同 /64 换地址仍 403； - TestOnBanCallback：建封回调带键/时长/原因，封禁期内重复命中不重复回调； - TestHoneypotAlertTemplateRenders：IPv6 渲染封禁范围、IPv4 不重复； - TestMergeSourcesByKey：同 /64 合并、IPv4 原样、limit 与空输入。	2026-10-23 10:53:03 +08:00
tamakyi	c29e1d071f	fix(honeypot): 补齐封禁装配与诱捕语义，凭据外置为文件不再入库一、封禁链路整条没接上（P0，已实测复现） route.New 的 autoban.New 漏传 HoneypotEnabled/Threshold/Duration，而 RecordHoneypot 首行就是 `if !b.honeypotEnabled { return false }` → 蜜罐命中从不封禁、落库 banned 恒 false、IsBanned 永不为真。同一批改动又把中间件里蜜罐路径的常规计数也跳过了，净效果是蜜罐路径从「10 次封禁」退化为零计数零封禁 —— 是 regression 不是修复。处理：抽 newBanner() 作为唯一装配入口并补齐参数；新增 banner_config_test 四个用例（全部经由 newBanner，不再自建 Banner）。变异验证：分别把 HoneypotEnabled 置 false、HoneypotThreshold 置 0，对应用例按预期失败。二、诱捕语义（审计时漏掉，比上面更影响功能价值）原实现对所有方法计数且阈值 1 → 扫描器 GET 一次假登录页就吃 403，永远走不到「POST 提交账号密码」那一步，蜜罐的核心价值（拿到字典）归零。处理：提交凭据 → RecordHoneypot（不受 enable_auto_ban 约束，立即封）；纯探测 → 常规 Record（阈值 10）。新增 TestHoneypotProbeDoesNotBanImmediately，变异验证：把 GET 也塞进 RecordHoneypot，测试按预期失败。三、落库边界（实测取证，非推断） - Path 原样落库而列宽 512 → PG `SQLSTATE 22001 值太长了(512)`，整条证据丢失；实测 600 字符失败、500 字符成功； - 三处按字节截断 → `SQLSTATE 22021 无效的 "UTF8" 编码字节顺序`（中文密码/URL 可稳定触发）。统一改 rune 截断并按列宽逐项对齐。四、资源与噪音 - alerted 无界 map → 带 TTL 的 deduper（上限 2 万，过期清理 + 超限硬裁），同时承担告警 24h 冷却与纯探测落库采样（每 IP 每分钟一条）—— GET 洪泛不再变成等量 INSERT； - credentialKeys 去掉 id/name，普通 JSON 探测不再被误判为凭据提交并触发假告警； - canary 从 meta generator 移到 HTML 注释，generator 伪装成 WordPress，不再同时向扫描器自曝「这是蜜罐」和「这站是 TamaBox」； - serveLoginFailure 复用 WriteLoginPage，不再手抄响应头（已开始漂移）； - Describer 死代码 → Prefixes()，接到新命令 honeypot paths； - honeypot_paths 解析挪到 honeypot.SplitPaths（CLI 与 route 共用），补前导斜杠、拒绝 "/"（会让所有 404 变假登录页）。五、凭据外置：数据库不再存用户名/密码明文账号密码一旦入库就会跟着进备份、主从复制与任何能连库的报表工具，事后无法彻底清除。改为： - 新增 honeypot.CredRecord/CredStore：按天文件 creds-YYYY-MM-DD.jsonl，目录 0700、文件 0600、坏行跳过、PurgeBefore 只删整天过期的文件； - db.HoneypotHit 删掉 Username/Password/Fields/RawBody，只留 HadFields 元数据； - HoneypotStore 删掉 TopCredentials/ListSinceByIP（CLI 改读文件后零调用）； - 新增 LegacyCredentialColumns/PurgeLegacyCredentialColumns：AutoMigrate 不删既有列，老库升级后历史明文仍在 → 启动 WARN + `honeypot purge-creds` 显式 DROP； - 清理器 HoneypotRetention 增加 CredPurgeable 参数，与 DB 记录共用保留期； honeypot prune 也一并删过期凭据文件； - CLI：hits 不再连库（DB 挂了也能查），stats 的凭据排行读文件； - 配置 honeypot_cred_dir（缺省 data/honeypot-creds），.gitignore 加 /data/。验证：go build ./... / go vet ./internal/... / go test ./...（含 PostgreSQL）全绿；新增 credstore_test（追加/倒序/IP 过滤/坏行/Top/Purge/权限）、 TestHoneypotLegacyCredentialColumns（ADD COLUMN 模拟老库 → 检测 → DROP）、 TestHoneypotWritesCredentialsToFile；CLI 端到端手动验证 hits/--ip/--show-password。	2026-10-21 15:43:25 +08:00

Author

SHA1

Message

Date

tamakyi

818fa74160

fix(honeypot): 取证记精确地址、封禁用 /64 键，并补建封与拦截日志

线上实测：IPv6 访问蜜罐后收到「你的 IP 已被封禁」，邮件里却是
`2408:…::/64` —— 既不像自己的地址，也说不清封了多大范围；同时用户自己
仍能正常访问，看日志也无从判断到底有没有封。

根因是「取证地址」与「封禁键」混用同一个变量（都取 LimitKey 的折叠值）：
- 取证丢掉精确 IPv6 后 64 位，事后无法定位到具体主机、没法和其他日志对账；
- 邮件只给聚合键，运维第一反应是「不是我」，排查方向直接被带偏。

改动：
- Serve 拆 clientIP（ResolveClientIP，精确）与 banKey（LimitKey，/64）：
  DB / 凭据文件 / 告警邮件用前者，封禁 / 探测采样 / 告警去重用后者；
- autoban.Options 新增 OnBan 回调（保持纯标准库、不引入 logrus），
  route.newBanner 注入后每次建封打 WARN：ban_key / reason / duration / expires_at；
  中间件 403 分支加 Debug 日志（被封者会持续请求，Info 会被刷屏）；
- 告警邮件新增「封禁范围」行，仅 ip != ban_key 时渲染（IPv4 不重复显示），
  顺带把过时的「已入库」改为「写入取证文件」——凭据早就外置了；
- honeypot stats 的来源排行改按 LimitKey 合并，否则 IPv6 轮换地址会把
  排行碎成几十条各 1 次的记录；合并口径与封禁完全一致。

测试（每项都做了变异验证：改坏→确认变红→恢复）：
- TestHoneypotRecordsExactIPv6ButBansByPrefix：精确地址进 DB 与凭据文件、
  /64 才是封禁键、同 /64 换地址仍 403；
- TestOnBanCallback：建封回调带键/时长/原因，封禁期内重复命中不重复回调；
- TestHoneypotAlertTemplateRenders：IPv6 渲染封禁范围、IPv4 不重复；
- TestMergeSourcesByKey：同 /64 合并、IPv4 原样、limit 与空输入。

2026-10-23 10:53:03 +08:00

tamakyi

c29e1d071f

fix(honeypot): 补齐封禁装配与诱捕语义，凭据外置为文件不再入库

一、封禁链路整条没接上（P0，已实测复现）
route.New 的 autoban.New 漏传 HoneypotEnabled/Threshold/Duration，而
RecordHoneypot 首行就是 `if !b.honeypotEnabled { return false }`
→ 蜜罐命中从不封禁、落库 banned 恒 false、IsBanned 永不为真。
同一批改动又把中间件里蜜罐路径的常规计数也跳过了，净效果是蜜罐路径
从「10 次封禁」退化为零计数零封禁 —— 是 regression 不是修复。
处理：抽 newBanner() 作为唯一装配入口并补齐参数；新增 banner_config_test
四个用例（全部经由 newBanner，不再自建 Banner）。变异验证：分别把
HoneypotEnabled 置 false、HoneypotThreshold 置 0，对应用例按预期失败。

二、诱捕语义（审计时漏掉，比上面更影响功能价值）
原实现对**所有方法**计数且阈值 1 → 扫描器 GET 一次假登录页就吃 403，
永远走不到「POST 提交账号密码」那一步，蜜罐的核心价值（拿到字典）归零。
处理：提交凭据 → RecordHoneypot（不受 enable_auto_ban 约束，立即封）；
纯探测 → 常规 Record（阈值 10）。新增 TestHoneypotProbeDoesNotBanImmediately，
变异验证：把 GET 也塞进 RecordHoneypot，测试按预期失败。

三、落库边界（实测取证，非推断）
- Path 原样落库而列宽 512 → PG `SQLSTATE 22001 值太长了(512)`，整条证据丢失；
  实测 600 字符失败、500 字符成功；
- 三处按字节截断 → `SQLSTATE 22021 无效的 "UTF8" 编码字节顺序`（中文密码/URL
  可稳定触发）。统一改 rune 截断并按列宽逐项对齐。

四、资源与噪音
- alerted 无界 map → 带 TTL 的 deduper（上限 2 万，过期清理 + 超限硬裁），
  同时承担告警 24h 冷却与纯探测落库采样（每 IP 每分钟一条）——
  GET 洪泛不再变成等量 INSERT；
- credentialKeys 去掉 id/name，普通 JSON 探测不再被误判为凭据提交并触发假告警；
- canary 从 meta generator 移到 HTML 注释，generator 伪装成 WordPress，
  不再同时向扫描器自曝「这是蜜罐」和「这站是 TamaBox」；
- serveLoginFailure 复用 WriteLoginPage，不再手抄响应头（已开始漂移）；
- Describer 死代码 → Prefixes()，接到新命令 honeypot paths；
- honeypot_paths 解析挪到 honeypot.SplitPaths（CLI 与 route 共用），
  补前导斜杠、拒绝 "/"（会让所有 404 变假登录页）。

五、凭据外置：数据库不再存用户名/密码
明文账号密码一旦入库就会跟着进备份、主从复制与任何能连库的报表工具，
事后无法彻底清除。改为：
- 新增 honeypot.CredRecord/CredStore：按天文件 creds-YYYY-MM-DD.jsonl，
  目录 0700、文件 0600、坏行跳过、PurgeBefore 只删整天过期的文件；
- db.HoneypotHit 删掉 Username/Password/Fields/RawBody，只留 HadFields 元数据；
- HoneypotStore 删掉 TopCredentials/ListSinceByIP（CLI 改读文件后零调用）；
- 新增 LegacyCredentialColumns/PurgeLegacyCredentialColumns：AutoMigrate 不删
  既有列，老库升级后历史明文仍在 → 启动 WARN + `honeypot purge-creds` 显式 DROP；
- 清理器 HoneypotRetention 增加 CredPurgeable 参数，与 DB 记录共用保留期；
  honeypot prune 也一并删过期凭据文件；
- CLI：hits 不再连库（DB 挂了也能查），stats 的凭据排行读文件；
- 配置 honeypot_cred_dir（缺省 data/honeypot-creds），.gitignore 加 /data/。

验证：go build ./... / go vet ./internal/... / go test ./...（含 PostgreSQL）全绿；
新增 credstore_test（追加/倒序/IP 过滤/坏行/Top/Purge/权限）、
TestHoneypotLegacyCredentialColumns（ADD COLUMN 模拟老库 → 检测 → DROP）、
TestHoneypotWritesCredentialsToFile；CLI 端到端手动验证 hits/--ip/--show-password。

2026-10-21 15:43:25 +08:00