fix(honeypot): 取证记精确地址、封禁用 /64 键,并补建封与拦截日志

线上实测:IPv6 访问蜜罐后收到「你的 IP 已被封禁」,邮件里却是
`2408:…::/64` —— 既不像自己的地址,也说不清封了多大范围;同时用户自己
仍能正常访问,看日志也无从判断到底有没有封。

根因是「取证地址」与「封禁键」混用同一个变量(都取 LimitKey 的折叠值):
- 取证丢掉精确 IPv6 后 64 位,事后无法定位到具体主机、没法和其他日志对账;
- 邮件只给聚合键,运维第一反应是「不是我」,排查方向直接被带偏。

改动:
- Serve 拆 clientIP(ResolveClientIP,精确)与 banKey(LimitKey,/64):
  DB / 凭据文件 / 告警邮件用前者,封禁 / 探测采样 / 告警去重用后者;
- autoban.Options 新增 OnBan 回调(保持纯标准库、不引入 logrus),
  route.newBanner 注入后每次建封打 WARN:ban_key / reason / duration / expires_at;
  中间件 403 分支加 Debug 日志(被封者会持续请求,Info 会被刷屏);
- 告警邮件新增「封禁范围」行,仅 ip != ban_key 时渲染(IPv4 不重复显示),
  顺带把过时的「已入库」改为「写入取证文件」——凭据早就外置了;
- honeypot stats 的来源排行改按 LimitKey 合并,否则 IPv6 轮换地址会把
  排行碎成几十条各 1 次的记录;合并口径与封禁完全一致。

测试(每项都做了变异验证:改坏→确认变红→恢复):
- TestHoneypotRecordsExactIPv6ButBansByPrefix:精确地址进 DB 与凭据文件、
  /64 才是封禁键、同 /64 换地址仍 403;
- TestOnBanCallback:建封回调带键/时长/原因,封禁期内重复命中不重复回调;
- TestHoneypotAlertTemplateRenders:IPv6 渲染封禁范围、IPv4 不重复;
- TestMergeSourcesByKey:同 /64 合并、IPv4 原样、limit 与空输入。
This commit is contained in:
tamakyi
2026-10-23 10:53:03 +08:00
parent aa758884f9
commit 818fa74160
13 changed files with 511 additions and 38 deletions
+36
View File
@@ -55,8 +55,27 @@ type Options struct {
HoneypotThreshold int
// HoneypotDuration 蜜罐独立封禁时长,<= 0 时复用 Duration。
HoneypotDuration time.Duration
// OnBan 在「新建一条封禁」时回调,供上层打日志 / 埋点。
//
// 存在的意义:封禁表是纯内存的,从外部完全看不见 —— 线上出现过
// 「邮件说封了、实际没挡住」,而当时没有任何日志能说明封的是哪个键、
// 到什么时候解除,排查只能靠猜。有了回调,每一次建封都会留下痕迹。
//
// ⚠️ 只在真正新建封禁时触发:已在封禁期内再次命中不会重复回调
// (与告警去重口径一致)。回调在独立 goroutine 中执行,不要假设顺序,
// 也不要在回调里调用本 Banner 的方法。
OnBan func(key string, duration time.Duration, reason string)
}
// 封禁原因(传给 Options.OnBan)。
const (
// ReasonProbe 常规通道:敏感路径 / 404 探测累计到阈值。
ReasonProbe = "probe"
// ReasonHoneypot 蜜罐通道:往假登录页提交了凭据。
ReasonHoneypot = "honeypot"
)
// sensitivePaths 常见后台/配置/漏洞探测路径特征(忽略大小写,完整段前缀匹配)。
// 注意:前缀匹配抓不到 //xxx/wp-includes/wlwmanifest.xml 这类"目录枚举变体"(敏感段
// 出现在路径中部),需要与 sensitiveFragments(任意位置子串)配合使用。
@@ -114,6 +133,8 @@ type Banner struct {
honeypotEnabled bool
honeypotThreshold int
honeypotDuration time.Duration
onBan func(key string, duration time.Duration, reason string)
}
// New 按配置创建封禁器并注册全局清理。
@@ -157,6 +178,7 @@ func New(opts Options) *Banner {
honeypotEnabled: opts.HoneypotEnabled,
honeypotThreshold: honeypotThreshold,
honeypotDuration: honeypotDuration,
onBan: opts.OnBan,
}
register(b)
return b
@@ -214,6 +236,7 @@ func (b *Banner) RecordHoneypot(ip, path string) bool {
return true
}
b.banned[ip] = now.Add(b.honeypotDuration)
b.notifyBan(ip, b.honeypotDuration, ReasonHoneypot)
// 告警(每 IP 仅一次)
if b.alertEmail != "" && b.sendAlert != nil && !b.alerted[ip] {
@@ -285,6 +308,7 @@ func (b *Banner) Record(ip, path string, kind int) {
}
until := now.Add(b.duration)
b.banned[ip] = until
b.notifyBan(ip, b.duration, ReasonProbe)
// 告警(每 IP 仅一次)
if b.alertEmail != "" && b.sendAlert != nil && !b.alerted[ip] {
@@ -297,6 +321,18 @@ func (b *Banner) Record(ip, path string, kind int) {
}
}
// notifyBan 触发 OnBan 回调。
//
// 调用点都在持锁区间内,因此这里只做「取函数 + 起 goroutine」:
// 回调本身可能在写日志、发邮件,放到锁外执行才不会拖慢被判定的请求。
func (b *Banner) notifyBan(key string, duration time.Duration, reason string) {
fn := b.onBan
if fn == nil {
return
}
go fn(key, duration, reason)
}
// IsBanned 判断 IP 是否处于封禁期;到期自动解除。
//
// 注意:即使 enabled(enable_auto_ban)关闭,蜜罐通道写入的封禁依然生效 ——
+66
View File
@@ -155,3 +155,69 @@ func TestIsSensitivePath(t *testing.T) {
}
}
}
// TestOnBanCallback 验证建封时会回调上层(键 / 时长 / 原因),
// 且「已在封禁期内重复命中」不会重复回调。
//
// 存在的意义:封禁表是纯内存的,外部完全看不见。线上出现过
// 「邮件说封了、实际还能访问」,而当时没有任何记录能说明封的是哪个键、
// 到什么时候解除 —— 这个回调就是那条记录的唯一来源。
func TestOnBanCallback(t *testing.T) {
type banEvent struct {
key string
duration time.Duration
reason string
}
events := make(chan banEvent, 4)
b := New(Options{
Enabled: true,
ThresholdSensitive: 1,
TrackNotFound: false,
Window: time.Minute,
Duration: 10 * time.Minute,
HoneypotEnabled: true,
HoneypotThreshold: 1,
HoneypotDuration: 24 * time.Hour,
OnBan: func(key string, duration time.Duration, reason string) {
events <- banEvent{key: key, duration: duration, reason: reason}
},
})
const key = "2408:8207:1234:5678::/64"
if !b.RecordHoneypot(key, "/wp-login.php") {
t.Fatal("首次蜜罐命中应触发封禁")
}
select {
case e := <-events:
if e.key != key {
t.Errorf("回调键 = %q, want %q", e.key, key)
}
if e.duration != 24*time.Hour {
t.Errorf("回调时长 = %v, want 24h(蜜罐应走 HoneypotDuration)", e.duration)
}
if e.reason != ReasonHoneypot {
t.Errorf("回调原因 = %q, want %q", e.reason, ReasonHoneypot)
}
case <-time.After(time.Second):
t.Fatal("蜜罐封禁没有触发 OnBan 回调")
}
// 已在封禁期内再次命中:不新建封禁,也就不应重复回调。
b.RecordHoneypot(key, "/wp-login.php")
select {
case e := <-events:
t.Fatalf("重复命中不应重复回调,收到 %+v", e)
case <-time.After(50 * time.Millisecond):
}
// 常规通道(敏感路径)也要回调,且时长用常规 Duration、原因可区分。
b.Record("1.2.3.4", "/admin", KindSensitive)
select {
case e := <-events:
if e.key != "1.2.3.4" || e.reason != ReasonProbe || e.duration != 10*time.Minute {
t.Errorf("常规封禁回调 = %+v, want key=1.2.3.4 reason=probe duration=10m", e)
}
case <-time.After(time.Second):
t.Fatal("常规封禁没有触发 OnBan 回调")
}
}
+2 -1
View File
@@ -28,7 +28,8 @@ import (
//
// 数据库里只保留「发生过一次带凭据的提交」这个事实(HadFields 等元数据)。
type CredRecord struct {
Time time.Time `json:"time"`
Time time.Time `json:"time"`
// IP 是精确客户端地址;封禁用的 /64 聚合键不会写进来(见 db.HoneypotHit.IP)。
IP string `json:"ip"`
Method string `json:"method"`
Path string `json:"path"`