fix(stats): 今日计数不再被每日缓存冻结,日期分组不依赖库会话时区

自查部署结果时发现两处正确性问题,都是本页上线时引入的:

1. 「今日提问 / 今日回答」原本随整页聚合一整天缓存,页面却写着「实时」,
   实际当天第一次访问后数字就冻住到次日。现拆出 TodayCounts 单独取,
   60 秒 TTL、跨日按日期失效;命中整页缓存时返回副本,不原地改缓存指针
   (那会被并发读踩成数据竞争)。

2. 日/月/时分组用 to_char/EXTRACT 直接作用在 timestamptz 上,结果跟着数据库
   会话时区走,而 PG 官方镜像默认 UTC、Go 侧按容器时区(Asia/Shanghai)切今天。
   实测同一条 2026-10-24 01:30+08 的提问,UTC 会话下被算成 10-23 17 点 ——
   日报表整体偏 8 小时、热力图时段错位,且与「今日」对不上。
   现统一经 analyticsLocalize() 加 AT TIME ZONE INTERVAL 换算,偏移取自
   time.Time.Zone()(Go 未设 TZ 时给 "Local",PG 不认该名,故不用 IANA 名)。
   过滤条件仍是裸列,索引照用。

另外两处顺手修:

- PeakDay 用 >= 比较,并列时会漂到最近的同值日期,与 busiestSlot 的取值规则不一致。
- 聚合改用 context.WithoutCancel + 30s 超时:第一个访客在聚合途中关掉页面时,
  排在后面等锁的请求不会各自重跑一遍全表 GROUP BY。

测试:新增 TestTodayNumbersNotFrozen(缓存命中后今日数仍更新、整页聚合当天只算一次)
与 TestTodayCacheExpiresAcrossMidnight;analytics 连真库通过。
This commit is contained in:
tamakyi
2026-10-24 01:20:02 +08:00
parent 64436d9d61
commit 0c282914c2
6 changed files with 294 additions and 43 deletions
+22
View File
@@ -25,3 +25,25 @@
- 页面脚注四条时间(基准日 / 计算于 / 最后一条提问 / 最后一条回答)由 - 页面脚注四条时间(基准日 / 计算于 / 最后一条提问 / 最后一条回答)由
「A:x · B:y」挤成一行改为 `grid-template-columns: max-content 1fr` 各占一行, 「A:x · B:y」挤成一行改为 `grid-template-columns: max-content 1fr` 各占一行,
标签列与值列对齐;下面两段说明仍为独立段落。四个标签统一带冒号。 标签列与值列对齐;下面两段说明仍为独立段落。四个标签统一带冒号。
## 部署前自查:两个 P0 都已修
用户部署到测试环境后要求自查。查出的问题都是我自己上一轮引入的:
1. **「今日」两项被每日缓存冻住**(P0,与页面「实时」说明矛盾)。
→ `TodayCounts` 拆出,60 秒 TTL + 跨日按日期失效;命中缓存时返回副本。
新增 `TestTodayNumbersNotFrozen` / `TestTodayCacheExpiresAcrossMidnight`。
2. **日期分组跟着 PG 会话时区(默认 UTC)**(P0,隐蔽:数字都"合理",只是整体偏 8 小时)。
psql 实测:`2026-10-24 01:30+08` 在 UTC 会话下 to_char 得 `2026-10-23`、hour=17。
→ `analyticsLocalize()` 用 `AT TIME ZONE INTERVAL '+08:00'`(偏移取 `time.At()` 的 Zone,
不用 IANA 名)。EXPLAIN 确认过滤仍走 created_at 索引。
3. PeakDay 用 `>=` 会让「最忙的一天」随更新漂移到最近的同值日期 → 改 `>`。
4. `ovRefresh` 里的聚合改用 `context.WithoutCancel` + 30s 超时:第一个访客中途关页面时,
排队的请求不会各自重跑全表 GROUP BY。
性能实测(20 万行):totals 337ms / 字数分布 313ms / 热力图 100ms / 日趋势 47ms,
本地合计约 0.8s,1C1G 估 2s,靠预热兜住。百万行才需要合并扫描。
顺带发现(未改,与本次无关):`Dockerfile` 基础镜像是 `golang:1.20-alpine`,
而 `go.mod` 要求 `go 1.27.3` —— 1.20 不支持 GOTOOLCHAIN 自动下载,Docker 构建必然失败;
`-X` 里的包路径还是 `NekoWheel/NekoBox`。说明实际部署不走这个 Dockerfile。
+34 -1
View File
@@ -33,7 +33,40 @@ db.Analytics.SiteAnalytics(ctx, now) // 纯 SQL 聚合,无缓存
- 回答耗时用 `updated_at - created_at`,但**置顶等写操作也会刷新 updated_at**, - 回答耗时用 `updated_at - created_at`,但**置顶等写操作也会刷新 updated_at**,
所以只对外给「24 小时内占比」这种粗结论,不宣称中位数。 所以只对外给「24 小时内占比」这种粗结论,不宣称中位数。
- 环比是「上月 vs 上上月」,不是「本月 vs 上月」:本月没过完,每月 1 号会得出 -95%。 - 环比是「上月 vs 上上月」,不是「本月 vs 上月」:本月没过完,每月 1 号会得出 -95%。
- 累计与图表是当日 0 点快照,「今日提问/回答」两项实时。页面底部已写明。 - 累计与图表是当日 0 点快照,「今日提问/回答」两项实时(60 秒 TTL,见下)。
- 日/周/时分组必须在 SQL 里 `AT TIME ZONE INTERVAL '+08:00'` 显式换算,
不能依赖数据库会话时区 —— 见「时区」一节。
## 两个已踩过的坑(2026-10-24 部署前自查发现)
**1. 「今日」两项曾被每日缓存冻住。** 原先 `SiteAnalytics` 里查了今日数,塞进
`Overview`,而 `Overview` 整天复用 → 页面顶着「实时」的说明显示一整天不变的常量。
现在拆出 `SiteAnalyticsStore.TodayCounts`,`stats` 层单独 60 秒缓存(`todayTTL`),
跨日按日期字符串失效(`todayDate`)。缓存命中时返回的是**副本**(`withToday`),
不能原地改 `ovCached` —— 那是数据竞争。
**2. 日期分组默认跟着 PG 会话时区走,通常是 UTC。** PG 官方镜像 `timezone=UTC`,
而 Go 按容器本地时区(Dockerfile 设 Asia/Shanghai)切「今天」。实测同一条
`2026-10-24 01:30+08` 的提问:会话 UTC 下 `to_char` 给 `2026-10-23`、`EXTRACT(HOUR)` 给 17。
→ 日报表整体偏 8 小时(中国 0–8 点被算进前一天),热力图时段全错位,且与「今日」对不上。
现在 `analyticsLocalize()` 统一包一层 `AT TIME ZONE INTERVAL '+08:00'`,偏移取自
`time.Time.Zone()`(不用 IANA 名:Go 在未设 TZ 时给 "Local",PG 不认)。
过滤条件仍是裸列,索引照用(EXPLAIN 确认走 Bitmap Index Scan)。
## 性能实测(20 万行 questions,本地 PG,冷缓存)
| 查询 | 耗时 | 扫描方式 |
|---|---|---|
| totals(全表条件聚合) | 337 ms | Seq Scan |
| 字数分布(全表) | 313 ms | Parallel Seq Scan |
| 热力图 180 天 | 100 ms | Bitmap Index Scan |
| 日趋势 30 天 | 47 ms | Bitmap Index Scan |
合计约 0.8 秒;1C1G 云机按 2–3 倍算约 2 秒。靠启动后 3 秒预热挪出请求路径,
可接受。**若 questions 到百万行**,三次全表扫描会到 6–10 秒,那时应把
totals + 字数分布 + 回答耗时合并成一条 SQL(都是同一张表的无条件 CASE 聚合,
合并后只扫一次)。现在不做:不知道真实表规模,每天只算一次,不值得为省 0.5 秒
把 SQL 拆成大块。
## 图表实现(零前端库) ## 图表实现(零前端库)
+74 -29
View File
@@ -19,6 +19,11 @@ import (
// 缓存、补齐空日期与展示模型都在 stats 层。这样聚合 SQL 可以脱离 HTTP 单测。 // 缓存、补齐空日期与展示模型都在 stats 层。这样聚合 SQL 可以脱离 HTTP 单测。
type SiteAnalyticsStore interface { type SiteAnalyticsStore interface {
SiteAnalytics(ctx context.Context, now time.Time) (*SiteAnalytics, error) SiteAnalytics(ctx context.Context, now time.Time) (*SiteAnalytics, error)
// TodayCounts 单独取「今日提问 / 今日回答」。
//
// 它们刻意不进 SiteAnalytics:整页聚合一整天只算一次,而这两个数要跟着
// 页面上的「实时」说明走,必须每次(或每隔几十秒)重新取。
TodayCounts(ctx context.Context, since time.Time) (questions, answers int64, err error)
} }
// Analytics 全站聚合查询的包级入口,在 Init 中随其他 store 一起初始化。 // Analytics 全站聚合查询的包级入口,在 Init 中随其他 store 一起初始化。
@@ -48,9 +53,6 @@ type SiteAnalytics struct {
LengthBins [6]int64 // 提问字数分布 LengthBins [6]int64 // 提问字数分布
ReplyBins [6]int64 // 回答耗时分布(仅统计已回答的提问) ReplyBins [6]int64 // 回答耗时分布(仅统计已回答的提问)
TodayQuestions int64
TodayAnswers int64
} }
// CountPoint 一个分组键上的计数,Key 已由数据库格式化成可直接展示的字符串。 // CountPoint 一个分组键上的计数,Key 已由数据库格式化成可直接展示的字符串。
@@ -96,26 +98,59 @@ type analyticsDialect struct {
replyMin string replyMin string
} }
func analyticsDialectFor(db *gorm.DB) analyticsDialect { func analyticsDialectFor(db *gorm.DB, at time.Time) analyticsDialect {
tz := analyticsTZOffset(at)
if db.Dialector.Name() == "mysql" { if db.Dialector.Name() == "mysql" {
// MySQL 的 DATETIME 不带时区,驱动按 DSN 的 loc(默认 UTC)写入,
// 因此库里存的是 UTC 墙钟,CONVERT_TZ 再搬到进程时区。用偏移而不是
// 时区名:CONVERT_TZ 用时区名要求 mysql.time_zone* 表已导入。
conv := func(col string) string {
return fmt.Sprintf("CONVERT_TZ(%s, '+00:00', '%s')", col, tz)
}
day := conv("created_at")
return analyticsDialect{ return analyticsDialect{
day: "DATE_FORMAT(created_at, '%Y-%m-%d')", day: fmt.Sprintf("DATE_FORMAT(%s, '%%Y-%%m-%%d')", day),
month: "DATE_FORMAT(created_at, '%Y-%m')", month: fmt.Sprintf("DATE_FORMAT(%s, '%%Y-%%m')", day),
dow: "(DAYOFWEEK(created_at) - 1)", dow: fmt.Sprintf("(DAYOFWEEK(%s) - 1)", day),
hour: "HOUR(created_at)", hour: fmt.Sprintf("HOUR(%s)", day),
replyMin: "TIMESTAMPDIFF(MINUTE, created_at, updated_at)", replyMin: "TIMESTAMPDIFF(MINUTE, created_at, updated_at)",
} }
} }
// PostgreSQL:EXTRACT 返回 numeric,显式转 int 以免扫描进 int64 时类型不匹配。 // PostgreSQL:EXTRACT 返回 numeric,显式转 int 以免扫描进 int64 时类型不匹配。
loc := func(col string) string { return analyticsLocalize(col, at) }
return analyticsDialect{ return analyticsDialect{
day: "to_char(created_at, 'YYYY-MM-DD')", day: fmt.Sprintf("to_char(%s, 'YYYY-MM-DD')", loc("created_at")),
month: "to_char(created_at, 'YYYY-MM')", month: fmt.Sprintf("to_char(%s, 'YYYY-MM')", loc("created_at")),
dow: "CAST(EXTRACT(DOW FROM created_at) AS INTEGER)", dow: fmt.Sprintf("CAST(EXTRACT(DOW FROM %s) AS INTEGER)", loc("created_at")),
hour: "CAST(EXTRACT(HOUR FROM created_at) AS INTEGER)", hour: fmt.Sprintf("CAST(EXTRACT(HOUR FROM %s) AS INTEGER)", loc("created_at")),
replyMin: "CAST(EXTRACT(EPOCH FROM (updated_at - created_at)) / 60 AS INTEGER)", replyMin: "CAST(EXTRACT(EPOCH FROM (updated_at - created_at)) / 60 AS INTEGER)",
} }
} }
// analyticsLocalize 把带时区的列转成「Go 进程所在时区的墙钟时间」再参与日期分组。
//
// 不能依赖数据库会话时区:PG 官方镜像默认 timezone=UTC,而 Go 侧按容器本地时区
// (Dockerfile 里写的是 Asia/Shanghai)切「今天」。两边不一致时,日报表与热力图会
// 整体偏 8 小时 —— 中国时间 0–8 点的提问被算进前一天,且和页面顶部「今日」对不上。
// 这类偏差肉眼看不出来(数字本身都合理),只能靠显式换算消除。
//
// 用固定偏移而不是 IANA 名:Go 在容器未设 TZ 时会给出 "Local",PG 不认这个名字。
// 中国无夏令时,固定偏移与真实时区完全等价;有夏令时的部署在窗口内可能差 1 小时。
func analyticsLocalize(col string, at time.Time) string {
return fmt.Sprintf("%s AT TIME ZONE INTERVAL '%s'", col, analyticsTZOffset(at))
}
// analyticsTZOffset 返回 +08:00 这样的偏移字面量。
func analyticsTZOffset(at time.Time) string {
_, off := at.Zone()
sign := "+"
if off < 0 {
sign, off = "-", -off
}
return fmt.Sprintf("%s%02d:%02d", sign, off/3600, off%3600/60)
}
func (db *siteAnalytics) SiteAnalytics(ctx context.Context, now time.Time) (*SiteAnalytics, error) { func (db *siteAnalytics) SiteAnalytics(ctx context.Context, now time.Time) (*SiteAnalytics, error) {
loc := now.Location() loc := now.Location()
startOfDay := time.Date(now.Year(), now.Month(), now.Day(), 0, 0, 0, 0, loc) startOfDay := time.Date(now.Year(), now.Month(), now.Day(), 0, 0, 0, 0, loc)
@@ -129,10 +164,10 @@ func (db *siteAnalytics) SiteAnalytics(ctx context.Context, now time.Time) (*Sit
if err := db.aggregateTotals(ctx, out); err != nil { if err := db.aggregateTotals(ctx, out); err != nil {
return nil, err return nil, err
} }
if err := db.aggregateTrends(ctx, out, dailySince, monthSince); err != nil { if err := db.aggregateTrends(ctx, out, now, dailySince, monthSince); err != nil {
return nil, err return nil, err
} }
if err := db.aggregateHeatmap(ctx, out, heatmapSince); err != nil { if err := db.aggregateHeatmap(ctx, out, now, heatmapSince); err != nil {
return nil, err return nil, err
} }
if err := db.aggregateContent(ctx, out); err != nil { if err := db.aggregateContent(ctx, out); err != nil {
@@ -146,19 +181,28 @@ func (db *siteAnalytics) SiteAnalytics(ctx context.Context, now time.Time) (*Sit
return nil, errors.Wrap(err, "count messages") return nil, errors.Wrap(err, "count messages")
} }
// 今日数字单独查:它们不进「每天一次」的缓存窗口,页面顶部要显示实时值。 // 「今日」两项不在这里查:本函数的结果整天缓存,把会变的数字放进来
if err := db.WithContext(ctx).Model(&Question{}). // 会让页面顶着一个「实时」的说明显示一整天不变的值。见 TodayCounts。
Where("created_at >= ?", startOfDay).Count(&out.TodayQuestions).Error; err != nil {
return nil, errors.Wrap(err, "count today's questions")
}
if err := db.WithContext(ctx).Model(&Question{}).
Where("answer <> '' AND updated_at >= ?", startOfDay).Count(&out.TodayAnswers).Error; err != nil {
return nil, errors.Wrap(err, "count today's answers")
}
return out, nil return out, nil
} }
// TodayCounts 取今日提问数与今日回答数,只扫当天数据(走 created_at 索引)。
//
// 口径:回答数按「今天被回答过」计,用的是 updated_at —— 置顶等写操作也会刷新它,
// 因此这个数偏大。页面只把它当「今天有多少动静」的量级参考,不做精确承诺。
func (db *siteAnalytics) TodayCounts(ctx context.Context, since time.Time) (int64, int64, error) {
var questions, answers int64
if err := db.WithContext(ctx).Model(&Question{}).
Where("created_at >= ?", since).Count(&questions).Error; err != nil {
return 0, 0, errors.Wrap(err, "count today's questions")
}
if err := db.WithContext(ctx).Model(&Question{}).
Where("answer <> '' AND updated_at >= ?", since).Count(&answers).Error; err != nil {
return 0, 0, errors.Wrap(err, "count today's answers")
}
return questions, answers, nil
}
// aggregateTotals 用一条 SQL 取回所有「不分时间窗口」的计数。 // aggregateTotals 用一条 SQL 取回所有「不分时间窗口」的计数。
// //
// 用 SUM(CASE WHEN ...) 而不是 COUNT(*) FILTER (WHERE ...):前者 MySQL 也支持, // 用 SUM(CASE WHEN ...) 而不是 COUNT(*) FILTER (WHERE ...):前者 MySQL 也支持,
@@ -203,8 +247,8 @@ func (db *siteAnalytics) aggregateTotals(ctx context.Context, out *SiteAnalytics
} }
// aggregateTrends 按日与按月各取一次计数。未被 GROUP BY 覆盖的空日期由 stats 层补齐。 // aggregateTrends 按日与按月各取一次计数。未被 GROUP BY 覆盖的空日期由 stats 层补齐。
func (db *siteAnalytics) aggregateTrends(ctx context.Context, out *SiteAnalytics, dailySince, monthSince time.Time) error { func (db *siteAnalytics) aggregateTrends(ctx context.Context, out *SiteAnalytics, now, dailySince, monthSince time.Time) error {
d := analyticsDialectFor(db.DB) d := analyticsDialectFor(db.DB, now)
var daily []struct { var daily []struct {
Key string Key string
@@ -238,8 +282,8 @@ func (db *siteAnalytics) aggregateTrends(ctx context.Context, out *SiteAnalytics
return nil return nil
} }
func (db *siteAnalytics) aggregateHeatmap(ctx context.Context, out *SiteAnalytics, since time.Time) error { func (db *siteAnalytics) aggregateHeatmap(ctx context.Context, out *SiteAnalytics, now, since time.Time) error {
d := analyticsDialectFor(db.DB) d := analyticsDialectFor(db.DB, now)
var rows []struct { var rows []struct {
Dow int Dow int
@@ -266,7 +310,8 @@ func (db *siteAnalytics) aggregateHeatmap(ctx context.Context, out *SiteAnalytic
} }
func (db *siteAnalytics) aggregateContent(ctx context.Context, out *SiteAnalytics) error { func (db *siteAnalytics) aggregateContent(ctx context.Context, out *SiteAnalytics) error {
d := analyticsDialectFor(db.DB) // 内容分布只用时长差值,不涉及日期分组,时区不影响结果。
d := analyticsDialectFor(db.DB, time.Now())
var lengths []struct { var lengths []struct {
Bin int Bin int
+6 -3
View File
@@ -69,9 +69,12 @@ func TestSiteAnalytics(t *testing.T) {
require.EqualValues(t, 1, got.ActiveBoxes) require.EqualValues(t, 1, got.ActiveBoxes)
require.EqualValues(t, 1, got.AnsweringBoxes) require.EqualValues(t, 1, got.AnsweringBoxes)
// 今日(提问是刚才写的,必然落在今天) // 今日(提问是刚才写的,必然落在今天)—— 单独取,不随整页聚合缓存
require.EqualValues(t, 2, got.TodayQuestions) dayStart := time.Date(now.Year(), now.Month(), now.Day(), 0, 0, 0, 0, now.Location())
require.EqualValues(t, 1, got.TodayAnswers) todayQ, todayA, err := store.TodayCounts(ctx, dayStart)
require.NoError(t, err)
require.EqualValues(t, 2, todayQ)
require.EqualValues(t, 1, todayA)
// 日/月趋势里能找到今天与本月 // 日/月趋势里能找到今天与本月
today := now.Format("2006-01-02") today := now.Format("2006-01-02")
+88 -10
View File
@@ -96,20 +96,35 @@ var (
// ovRefresh 串行化重算:一天的第一个请求承担全部聚合,其余请求等它算完直接复用, // ovRefresh 串行化重算:一天的第一个请求承担全部聚合,其余请求等它算完直接复用,
// 避免多个并发请求同时打一轮全表 GROUP BY(1C1G 上会互相拖慢)。 // 避免多个并发请求同时打一轮全表 GROUP BY(1C1G 上会互相拖慢)。
ovRefresh sync.Mutex ovRefresh sync.Mutex
// todayMu 保护「今日」两项的短缓存。
todayMu sync.Mutex
todayQ int64
todayA int64
todayAt time.Time
todayDate string
) )
// todayTTL 「今日」两项的缓存时长。
//
// 不长于 60 秒:页面写的是「实时」,但也不能让每次刷新都打两条 COUNT,
// 否则一个爱刷新的访客就能持续骚扰数据库。
const todayTTL = 60 * time.Second
// OverviewData 返回全站数据页所需的聚合结果,按自然日缓存。 // OverviewData 返回全站数据页所需的聚合结果,按自然日缓存。
// //
// 聚合失败时若手上还有昨天的结果,就继续返回旧的(页面照常打开,只是数据停在昨天); // 聚合失败时若手上还有昨天的结果,就继续返回旧的(页面照常打开,只是数据停在昨天);
// 完全没有可用结果才返回错误。 // 完全没有可用结果才返回错误。
func OverviewData(ctx context.Context) (*Overview, error) { func OverviewData(ctx context.Context) (*Overview, error) {
today := time.Now().Format("2006-01-02") now := time.Now()
today := now.Format("2006-01-02")
ovMu.Lock() ovMu.Lock()
cached, day := ovCached, ovDay cached, day := ovCached, ovDay
ovMu.Unlock() ovMu.Unlock()
if cached != nil && day == today { if cached != nil && day == today {
return cached, nil // 命中时也要刷新「今日」两项:它们不属于每日缓存的内容。
return withToday(ctx, cached, now), nil
} }
ovRefresh.Lock() ovRefresh.Lock()
@@ -120,7 +135,7 @@ func OverviewData(ctx context.Context) (*Overview, error) {
cached, day = ovCached, ovDay cached, day = ovCached, ovDay
ovMu.Unlock() ovMu.Unlock()
if cached != nil && day == today { if cached != nil && day == today {
return cached, nil return withToday(ctx, cached, now), nil
} }
if db.Analytics == nil { if db.Analytics == nil {
@@ -128,17 +143,24 @@ func OverviewData(ctx context.Context) (*Overview, error) {
return nil, errNoDatabase return nil, errNoDatabase
} }
now := time.Now() // 聚合用一条独立于请求的 context:第一个访客在聚合途中关掉页面时,
raw, err := db.Analytics.SiteAnalytics(ctx, now) // 请求 ctx 会被取消,排在后面等锁的请求就会各自重跑一遍全表 GROUP BY
// (1C1G 上等于连环超时)。WithoutCancel 保留 trace 等 value、只摘掉取消信号。
aggCtx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 30*time.Second)
defer cancel()
raw, err := db.Analytics.SiteAnalytics(aggCtx, now)
if err != nil { if err != nil {
logrus.WithContext(ctx).WithError(err).Warn("计算全站统计数据失败") logrus.WithContext(aggCtx).WithError(err).Warn("计算全站统计数据失败")
if cached != nil { if cached != nil {
return cached, nil return withToday(ctx, cached, now), nil
} }
return nil, err return nil, err
} }
v := buildOverview(raw, now) v := buildOverview(raw, now)
// 今日两项单独取(60 秒缓存),不进整天复用的那份快照。
v.TodayQuestions, v.TodayAnswers = todayNumbers(ctx, now, 0, 0)
ovMu.Lock() ovMu.Lock()
ovCached = v ovCached = v
@@ -147,12 +169,68 @@ func OverviewData(ctx context.Context) (*Overview, error) {
return v, nil return v, nil
} }
// withToday 返回一个「今日」两项已更新到最新的副本。
//
// 必须拷贝而不是原地改 ovCached:缓存里的指针会被多个 goroutine 同时读,
// 原地写字段就是数据竞争。Daily / Monthly / Heatmap 都是只读共享,浅拷贝安全。
func withToday(ctx context.Context, base *Overview, now time.Time) *Overview {
q, a := todayNumbers(ctx, now, base.TodayQuestions, base.TodayAnswers)
if q == base.TodayQuestions && a == base.TodayAnswers {
return base
}
out := *base
out.TodayQuestions, out.TodayAnswers = q, a
return &out
}
// todayNumbers 取「今日提问 / 今日回答」,带 60 秒缓存与跨日失效。
// 查询失败时优先沿用上次的已知值,再退到调用方给的回退值 —— 页面不该因为
// 两条 COUNT 失败就打不开。
func todayNumbers(ctx context.Context, now time.Time, fallbackQ, fallbackA int64) (int64, int64) {
date := now.Format("2006-01-02")
todayMu.Lock()
q, a, at, d := todayQ, todayA, todayAt, todayDate
todayMu.Unlock()
// 跨日必须先失效:昨天 23:59:50 算出的「今日」在 00:00:30 仍在 TTL 内。
if d == date && !at.IsZero() && now.Sub(at) < todayTTL {
return q, a
}
if db.Analytics == nil {
return fallbackQ, fallbackA
}
nq, na, err := db.Analytics.TodayCounts(ctx, time.Date(
now.Year(), now.Month(), now.Day(), 0, 0, 0, 0, now.Location()))
if err != nil {
logrus.WithContext(ctx).WithError(err).Warn("读取今日统计失败")
if !at.IsZero() && d == date {
return q, a
}
return fallbackQ, fallbackA
}
setTodayCache(nq, na, now)
return nq, na
}
func setTodayCache(q, a int64, now time.Time) {
todayMu.Lock()
todayQ, todayA, todayAt, todayDate = q, a, now, now.Format("2006-01-02")
todayMu.Unlock()
}
// InvalidateOverview 丢弃缓存,供需要立即看到新数字的场景调用。 // InvalidateOverview 丢弃缓存,供需要立即看到新数字的场景调用。
func InvalidateOverview() { func InvalidateOverview() {
ovMu.Lock() ovMu.Lock()
ovCached = nil ovCached = nil
ovDay = "" ovDay = ""
ovMu.Unlock() ovMu.Unlock()
// 「今日」两项也要一起丢:留着会让紧随其后的请求在 60 秒内继续看到旧值。
todayMu.Lock()
todayQ, todayA, todayAt, todayDate = 0, 0, time.Time{}, ""
todayMu.Unlock()
} }
var errNoDatabase = errString("database not initialized") var errNoDatabase = errString("database not initialized")
@@ -175,8 +253,6 @@ func buildOverview(raw *db.SiteAnalytics, now time.Time) *Overview {
ActiveBoxes: raw.ActiveBoxes, ActiveBoxes: raw.ActiveBoxes,
AnsweringBoxes: raw.AnsweringBoxes, AnsweringBoxes: raw.AnsweringBoxes,
TotalMessages: raw.TotalMessages, TotalMessages: raw.TotalMessages,
TodayQuestions: raw.TodayQuestions,
TodayAnswers: raw.TodayAnswers,
Heatmap: raw.Heatmap, Heatmap: raw.Heatmap,
HeatmapDays: raw.HeatmapDays, HeatmapDays: raw.HeatmapDays,
LengthBins: raw.LengthBins, LengthBins: raw.LengthBins,
@@ -211,7 +287,9 @@ func buildOverview(raw *db.SiteAnalytics, now time.Time) *Overview {
if p.N > v.DailyMax { if p.N > v.DailyMax {
v.DailyMax = p.N v.DailyMax = p.N
} }
if p.N >= v.PeakDay.N { // 用严格大于:并列时保留更早的一天,与 busiestSlot 的取值规则一致
// (>= 会让「最忙的一天」随更新漂移到最近一个同值日期)。
if p.N > v.PeakDay.N {
v.PeakDay = p v.PeakDay = p
} }
} }
+70
View File
@@ -5,6 +5,7 @@
package stats package stats
import ( import (
"context"
"strings" "strings"
"testing" "testing"
"time" "time"
@@ -110,3 +111,72 @@ func TestOverviewDerived(t *testing.T) {
// 复用到句子里会读成「提问最集中在三 8 点前后」。 // 复用到句子里会读成「提问最集中在三 8 点前后」。
require.Contains(t, strings.Join(page.Insights, "\n"), "提问最集中在周一 8 点前后。") require.Contains(t, strings.Join(page.Insights, "\n"), "提问最集中在周一 8 点前后。")
} }
// fakeAnalytics 最小实现,用来卡住缓存的边界:
// 整页聚合一天只该算一次,但「今日」两项必须跟着每次请求走。
type fakeAnalytics struct {
todayQ, todayA int64
siteCalls int
}
func (f *fakeAnalytics) SiteAnalytics(context.Context, time.Time) (*db.SiteAnalytics, error) {
f.siteCalls++
return &db.SiteAnalytics{TotalQuestions: 10, Answered: 4}, nil
}
func (f *fakeAnalytics) TodayCounts(context.Context, time.Time) (int64, int64, error) {
return f.todayQ, f.todayA, nil
}
// TestTodayNumbersNotFrozen 回归:「今日」两项曾被塞进每日缓存,
// 导致页面顶着「实时」的说明一整天显示常量。
func TestTodayNumbersNotFrozen(t *testing.T) {
prev := db.Analytics
t.Cleanup(func() {
db.Analytics = prev
InvalidateOverview()
})
f := &fakeAnalytics{todayQ: 3, todayA: 1}
db.Analytics = f
InvalidateOverview()
first, err := OverviewData(context.Background())
require.NoError(t, err)
require.EqualValues(t, 3, first.TodayQuestions)
// 今天又来了几条,且短缓存已过期
f.todayQ, f.todayA = 8, 2
todayMu.Lock()
todayAt = todayAt.Add(-2 * todayTTL)
todayMu.Unlock()
second, err := OverviewData(context.Background())
require.NoError(t, err)
require.EqualValues(t, 8, second.TodayQuestions, "今日数不能被每日缓存冻结")
require.EqualValues(t, 2, second.TodayAnswers)
require.Equal(t, 1, f.siteCalls, "整页聚合当天只应算一次")
// 返回的是副本,不能把已经交出去的 pages 改掉
require.EqualValues(t, 3, first.TodayQuestions)
}
// TestTodayCacheExpiresAcrossMidnight 跨日必须重算:昨天 23:59 算出的是昨天的数。
func TestTodayCacheExpiresAcrossMidnight(t *testing.T) {
prev := db.Analytics
t.Cleanup(func() {
db.Analytics = prev
InvalidateOverview()
})
f := &fakeAnalytics{todayQ: 7, todayA: 5}
db.Analytics = f
justAfterMidnight := time.Date(2026, 10, 24, 0, 0, 30, 0, time.Local)
// 昨天午夜算出来的缓存(日期不同,即使还在 60 秒内也不该复用)
setTodayCache(99, 99, justAfterMidnight.Add(-24*time.Hour))
q, a := todayNumbers(context.Background(), justAfterMidnight, 0, 0)
require.EqualValues(t, 7, q, "跨日后必须重算,不能沿用昨天的数字")
require.EqualValues(t, 5, a)
}