fix(stats): 回答耗时改用 answered_at,修测试环境实测出的三处问题
在测试环境(box-dev-api)上逐项验算后发现「回答耗时」这一口径是错的。 1. 回答耗时不能用 updated_at - created_at(P0) GORM 的 Update 会自动刷新 updated_at,而已读、置顶、公开/私密切换全走 Update。 实测:一条 10 天前的提问被 SetRead 标记已读后,updated_at 被推到当下(delta=240h)。 于是「回答耗时」实际测的是「提问到最后一次被碰」:线上那 6 条「超过 7 天」 和偏低的 24 小时回复占比都是这么来的。 修法:新增 questions.answered_at(首次回答时间,可空),只在 answer 由空变非空时 写一次,改写回答不重置;聚合改用 COALESCE(answered_at, updated_at), 首次加列时用 updated_at 冻结历史一次(Migrator().HasColumn 判断是否刚加列), 否则历史值会随着后续的已读/置顶继续变大。 2. 环比句式读不通 中文「上月提问量比前一个月 -69.6%」、英文「...: -69.6% questions.」都是病句。 改为「上月提问量环比 %s%%」/「Month-over-month change for last month: %s%%」。 3. 脚注说「当日 0 点的快照」不实 实际是当天第一次访问时算、服务重启也会重算(实测算出时刻 01:11:50, 基准日却写 2026-10-24,说明它含了 0 点之后的数据)。改成准确描述。 4. 数据库故障时请求会排成 N×30s ovRefresh 串行化 + 30 秒超时意味着数据库挂起时第 N 个请求要等 N×30 秒。 加 30 秒失败冷却:冷却期内直接降级(有旧快照用旧快照),不再碰数据库。 todayNumbers 失败也盖时间戳,不再每个请求都打两条 COUNT。 测试:新增 internal/db/answered_at_test.go(5 例:只记一次、私密路径也记、 分桶以 answered_at 为准、历史行回退、回填),并做过变异验证 —— 把口径改回 updated_at 后测试立即失败。internal/stats 补 3 例冷却测试。全量构建与测试通过 (internal/storage 的构建失败是 overlay 桩的既有问题)。
This commit is contained in:
@@ -110,11 +110,13 @@ func analyticsDialectFor(db *gorm.DB, at time.Time) analyticsDialect {
|
||||
}
|
||||
day := conv("created_at")
|
||||
return analyticsDialect{
|
||||
day: fmt.Sprintf("DATE_FORMAT(%s, '%%Y-%%m-%%d')", day),
|
||||
month: fmt.Sprintf("DATE_FORMAT(%s, '%%Y-%%m')", day),
|
||||
dow: fmt.Sprintf("(DAYOFWEEK(%s) - 1)", day),
|
||||
hour: fmt.Sprintf("HOUR(%s)", day),
|
||||
replyMin: "TIMESTAMPDIFF(MINUTE, created_at, updated_at)",
|
||||
day: fmt.Sprintf("DATE_FORMAT(%s, '%%Y-%%m-%%d')", day),
|
||||
month: fmt.Sprintf("DATE_FORMAT(%s, '%%Y-%%m')", day),
|
||||
dow: fmt.Sprintf("(DAYOFWEEK(%s) - 1)", day),
|
||||
hour: fmt.Sprintf("HOUR(%s)", day),
|
||||
// 回答耗时以 answered_at 为准。历史行该列为空(加列之前回答的),
|
||||
// 只能退回 updated_at —— 那部分含已读/置顶带来的误差,无法追溯修正。
|
||||
replyMin: "TIMESTAMPDIFF(MINUTE, created_at, COALESCE(answered_at, updated_at))",
|
||||
}
|
||||
}
|
||||
// PostgreSQL:EXTRACT 返回 numeric,显式转 int 以免扫描进 int64 时类型不匹配。
|
||||
@@ -124,7 +126,7 @@ func analyticsDialectFor(db *gorm.DB, at time.Time) analyticsDialect {
|
||||
month: fmt.Sprintf("to_char(%s, 'YYYY-MM')", loc("created_at")),
|
||||
dow: fmt.Sprintf("CAST(EXTRACT(DOW FROM %s) AS INTEGER)", loc("created_at")),
|
||||
hour: fmt.Sprintf("CAST(EXTRACT(HOUR FROM %s) AS INTEGER)", loc("created_at")),
|
||||
replyMin: "CAST(EXTRACT(EPOCH FROM (updated_at - created_at)) / 60 AS INTEGER)",
|
||||
replyMin: "CAST(EXTRACT(EPOCH FROM (COALESCE(answered_at, updated_at) - created_at)) / 60 AS INTEGER)",
|
||||
}
|
||||
}
|
||||
|
||||
@@ -228,7 +230,7 @@ func (db *siteAnalytics) aggregateTotals(ctx context.Context, out *SiteAnalytics
|
||||
COUNT(DISTINCT user_id) AS active_boxes,
|
||||
COUNT(DISTINCT CASE WHEN answer <> '' THEN user_id END) AS answering_boxes,
|
||||
MAX(created_at) AS last_q,
|
||||
MAX(CASE WHEN answer <> '' THEN updated_at END) AS last_a`).
|
||||
MAX(CASE WHEN answer <> '' THEN COALESCE(answered_at, updated_at) END) AS last_a`).
|
||||
Scan(&row).Error
|
||||
if err != nil {
|
||||
return errors.Wrap(err, "aggregate question totals")
|
||||
|
||||
@@ -0,0 +1,149 @@
|
||||
// Copyright 2022 E99p1ant. All rights reserved.
|
||||
// Use of this source code is governed by a MIT-style
|
||||
// license that can be found in the LICENSE file.
|
||||
|
||||
package db
|
||||
|
||||
import (
|
||||
"context"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/stretchr/testify/require"
|
||||
)
|
||||
|
||||
// TestAnsweredAtOnlySetOnFirstAnswer 回答时间只记一次。
|
||||
//
|
||||
// 背景:GORM 的 Update 会自动刷新 updated_at,而已读、置顶、公开/私密切换
|
||||
// 都走 Update。若拿 updated_at 当回答时间,回答完再点一次「已读」,
|
||||
// 耗时就会从几分钟变成几十天 —— 线上那份「6 条超过 7 天」的数据就是这么来的。
|
||||
func TestAnsweredAtOnlySetOnFirstAnswer(t *testing.T) {
|
||||
conn, clean := newTestDB(t)
|
||||
defer clean("questions")
|
||||
|
||||
createdAt := time.Now().Add(-72 * time.Hour).Truncate(time.Second)
|
||||
q := Question{UserID: 1, Content: "hello", CreatedAt: createdAt, UpdatedAt: createdAt}
|
||||
require.NoError(t, conn.Create(&q).Error)
|
||||
|
||||
store := NewQuestionsStore(conn)
|
||||
require.NoError(t, store.AnswerByID(context.Background(), q.ID, "first"))
|
||||
|
||||
var got Question
|
||||
require.NoError(t, conn.First(&got, q.ID).Error)
|
||||
require.NotNil(t, got.AnsweredAt, "首次回答必须记下 answered_at")
|
||||
firstAt := *got.AnsweredAt
|
||||
require.WithinDuration(t, time.Now(), firstAt, time.Minute)
|
||||
|
||||
// 改写回答:answered_at 不能被重置,否则「回答耗时」会跟着编辑动作变大。
|
||||
require.NoError(t, store.AnswerByID(context.Background(), q.ID, "edited"))
|
||||
require.NoError(t, conn.First(&got, q.ID).Error)
|
||||
require.NotNil(t, got.AnsweredAt)
|
||||
require.Equal(t, firstAt.Unix(), got.AnsweredAt.Unix(), "改写回答不该重置 answered_at")
|
||||
}
|
||||
|
||||
// TestAnsweredAtSetWhenAnsweringAsPrivate 强制私密那条 UPDATE 同样要记时间。
|
||||
func TestAnsweredAtSetWhenAnsweringAsPrivate(t *testing.T) {
|
||||
conn, clean := newTestDB(t)
|
||||
defer clean("questions")
|
||||
|
||||
q := Question{UserID: 1, Content: "secret"}
|
||||
require.NoError(t, conn.Create(&q).Error)
|
||||
|
||||
require.NoError(t, NewQuestionsStore(conn).AnswerByIDPrivate(context.Background(), q.ID, "answer"))
|
||||
|
||||
var got Question
|
||||
require.NoError(t, conn.First(&got, q.ID).Error)
|
||||
require.NotNil(t, got.AnsweredAt)
|
||||
require.True(t, got.IsPrivate)
|
||||
require.True(t, got.IsRead)
|
||||
}
|
||||
|
||||
// TestReplyBinsUseAnsweredAt 回答耗时以 answered_at 为准,不受后来的「已读」影响。
|
||||
//
|
||||
// 构造:72 小时前提问、10 分钟前回答(落第一档);但 updated_at 被改成当下
|
||||
// (相当于回答完又被读了一次),差值是 72 小时 = 4320 分钟,正好落到第四档。
|
||||
// 若仍在用 updated_at,这条会进第四档而不是第一档。
|
||||
func TestReplyBinsUseAnsweredAt(t *testing.T) {
|
||||
conn, clean := newTestDB(t)
|
||||
defer clean("questions")
|
||||
|
||||
now := time.Now()
|
||||
createdAt := now.Add(-72 * time.Hour)
|
||||
answeredAt := createdAt.Add(10 * time.Minute) // 提问后 10 分钟回答 → 第一档
|
||||
q := Question{UserID: 1, Content: "hi", CreatedAt: createdAt, UpdatedAt: createdAt}
|
||||
require.NoError(t, conn.Create(&q).Error)
|
||||
|
||||
// 直接写列,绕开 GORM 的 UpdatedAt 自动更新。
|
||||
require.NoError(t, conn.Exec(
|
||||
"UPDATE questions SET answer = ?, is_read = ?, answered_at = ?, updated_at = ? WHERE id = ?",
|
||||
"answer", true, answeredAt, now, q.ID).Error)
|
||||
|
||||
got, err := NewSiteAnalyticsStore(conn).SiteAnalytics(context.Background(), now)
|
||||
require.NoError(t, err)
|
||||
|
||||
var total int64
|
||||
for _, n := range got.ReplyBins {
|
||||
total += n
|
||||
}
|
||||
require.EqualValues(t, 1, total)
|
||||
require.EqualValues(t, 1, got.ReplyBins[0], "10 分钟的回答应落在第一档")
|
||||
require.EqualValues(t, 0, got.ReplyBins[4], "不该被 pushed 到当下的 updated_at 带偏")
|
||||
|
||||
// 「最后一条回答」同理:取 answered_at 而不是被刷新过的 updated_at。
|
||||
require.NotNil(t, got.LastAnswerAt)
|
||||
require.WithinDuration(t, answeredAt, *got.LastAnswerAt, time.Minute)
|
||||
}
|
||||
|
||||
// TestReplyBinsFallBackToUpdatedAt 加列之前回答的历史行 answered_at 为空,
|
||||
// 退回 updated_at,不能让这些提问从分布里消失。
|
||||
func TestReplyBinsFallBackToUpdatedAt(t *testing.T) {
|
||||
conn, clean := newTestDB(t)
|
||||
defer clean("questions")
|
||||
|
||||
now := time.Now()
|
||||
// 10 天前提问、9 天前处理:差值 24 小时(1440 分钟),落在第三档。
|
||||
createdAt := now.Add(-10 * 24 * time.Hour)
|
||||
updatedAt := now.Add(-9 * 24 * time.Hour)
|
||||
q := Question{UserID: 1, Content: "old", CreatedAt: createdAt, UpdatedAt: createdAt}
|
||||
require.NoError(t, conn.Create(&q).Error)
|
||||
require.NoError(t, conn.Exec(
|
||||
"UPDATE questions SET answer = ?, answered_at = NULL, updated_at = ? WHERE id = ?",
|
||||
"old answer", updatedAt, q.ID).Error)
|
||||
|
||||
got, err := NewSiteAnalyticsStore(conn).SiteAnalytics(context.Background(), now)
|
||||
require.NoError(t, err)
|
||||
require.EqualValues(t, 1, got.Answered)
|
||||
require.EqualValues(t, 1, got.ReplyBins[3], "历史行应退回 updated_at 计入分布")
|
||||
}
|
||||
|
||||
// TestBackfillAnsweredAt 历史行回填:拿 updated_at 冻结一次,之后不再随已读漂移。
|
||||
func TestBackfillAnsweredAt(t *testing.T) {
|
||||
conn, clean := newTestDB(t)
|
||||
defer clean("questions")
|
||||
|
||||
// 列由 AutoMigrate 建好,HasColumn 必须能认出来(启动时靠它判断「是不是刚加列」)。
|
||||
require.True(t, conn.Migrator().HasColumn(&Question{}, "answered_at"))
|
||||
|
||||
now := time.Now()
|
||||
createdAt := now.Add(-20 * 24 * time.Hour)
|
||||
answeredAtOld := now.Add(-19 * 24 * time.Hour)
|
||||
|
||||
// 一条历史已回答(answered_at 为空),一条未回答(不该被回填)。
|
||||
require.NoError(t, conn.Exec(
|
||||
"INSERT INTO questions (user_id, content, answer, is_private, is_read, is_pinned, created_at, updated_at) VALUES (1,'old','a',false,true,false,?,?)",
|
||||
createdAt, answeredAtOld).Error)
|
||||
require.NoError(t, conn.Exec(
|
||||
"INSERT INTO questions (user_id, content, answer, is_private, is_read, is_pinned, created_at, updated_at) VALUES (1,'open','',false,false,false,?,?)",
|
||||
createdAt, answeredAtOld).Error)
|
||||
|
||||
require.NoError(t, backfillAnsweredAt(conn))
|
||||
|
||||
var answered Question
|
||||
require.NoError(t, conn.Where("content = ?", "old").First(&answered).Error)
|
||||
require.NotNil(t, answered.AnsweredAt)
|
||||
require.WithinDuration(t, answeredAtOld, *answered.AnsweredAt, time.Second)
|
||||
|
||||
var open Question
|
||||
require.NoError(t, conn.Where("content = ?", "open").First(&open).Error)
|
||||
require.Nil(t, open.AnsweredAt, "未回答的提问不该被回填")
|
||||
}
|
||||
@@ -66,10 +66,25 @@ func Init(typ, dsn string) (*gorm.DB, error) {
|
||||
}
|
||||
}
|
||||
|
||||
// questions.answered_at 是 2026-10 新增的列(首次回答时间,用于算「回答耗时」)。
|
||||
// 加列之前已回答的提问没有这个值,只能事后拿 updated_at 近似。
|
||||
// 必须在 AutoMigrate 之前判断列是否存在 —— 迁移之后大家都有列了,就分不出谁是历史行。
|
||||
hasAnsweredAt := db.Migrator().HasColumn(&Question{}, "answered_at")
|
||||
|
||||
if err := db.AutoMigrate(AllTables...); err != nil {
|
||||
return nil, errors.Wrap(err, "auto migrate")
|
||||
}
|
||||
|
||||
// 回填只在「这次刚加上列」时做一次。
|
||||
// 为什么必须回填:这些行的 updated_at 之后还会被已读/置顶继续往前推,
|
||||
// 不回填的话历史「回答耗时」会一天天变大,看起来像统计出错。
|
||||
// 失败不阻断启动,页面会退回 updated_at 计算。
|
||||
if !hasAnsweredAt {
|
||||
if err := backfillAnsweredAt(db); err != nil {
|
||||
logrus.WithError(err).Warn("回填 questions.answered_at 时异常(历史回答耗时将退回 updated_at)")
|
||||
}
|
||||
}
|
||||
|
||||
// 功能开关初始化:为历史账号补齐 feature_controls 行(私聊沿用 users.allow_chat)。
|
||||
// 幂等,已初始化的账号不会重复写入;失败不阻断启动,仅告警,避免依赖表抖动导致服务起不来。
|
||||
if err := backfillFeatureControls(db); err != nil {
|
||||
|
||||
@@ -83,6 +83,13 @@ type Question struct {
|
||||
AskerUserID uint `json:"-"`
|
||||
IsPrivate bool `gorm:"default: FALSE; NOT NULL" json:"-"`
|
||||
IsPinned bool `gorm:"default: FALSE; NOT NULL" json:"is_pinned"`
|
||||
// AnsweredAt 首次回答的时间,用于算「回答耗时」。为空表示还没回答过。
|
||||
//
|
||||
// 不能拿 updated_at 当回答时间:GORM 的 Update 会自动刷新 updated_at,
|
||||
// 而已读、置顶、公开/私密切换都走 Update,回答之后再点一次「已读」
|
||||
// 就会把耗时撑大(实测:一条 10 天前的提问被 SetRead 后 updated_at 直接推到当下)。
|
||||
// 只在 answer 由空变非空时写一次,改写回答不重置。
|
||||
AnsweredAt *time.Time `json:"-"`
|
||||
// IsRead 标记箱主是否已读/处理过该提问。有效"已读" = IsRead=true 或 已有回答(answer != "")。
|
||||
// 已回答的问题恒为已读且锁定,不可改回未读(见 SetUnread 的 answer='' 条件与上层校验)。
|
||||
IsRead bool `gorm:"default: FALSE; NOT NULL" json:"is_read"`
|
||||
@@ -391,7 +398,7 @@ func (db *questions) AnswerByIDPrivate(ctx context.Context, id uint, answer stri
|
||||
}
|
||||
|
||||
if err := db.WithContext(ctx).Model(&question).Where("id = ?", id).
|
||||
Updates(map[string]interface{}{"answer": answer, "is_read": true, "is_private": true}).Error; err != nil {
|
||||
Updates(answerUpdates(question.Answer, answer, map[string]interface{}{"is_private": true})).Error; err != nil {
|
||||
return errors.Wrap(err, "update question answer as private")
|
||||
}
|
||||
return nil
|
||||
@@ -407,12 +414,28 @@ func (db *questions) AnswerByID(ctx context.Context, id uint, answer string) err
|
||||
}
|
||||
|
||||
if err := db.WithContext(ctx).Model(&question).Where("id = ?", id).
|
||||
Updates(map[string]interface{}{"answer": answer, "is_read": true}).Error; err != nil {
|
||||
Updates(answerUpdates(question.Answer, answer, nil)).Error; err != nil {
|
||||
return errors.Wrap(err, "update question answer")
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// answerUpdates 组装回答写入的字段集合。
|
||||
//
|
||||
// 只有「原本没回答」时才写 answered_at:改写已有回答不该重置首次回答时间,
|
||||
// 否则「回答耗时」会跟着编辑动作变大。extra 用于合并调用方自己的附加字段
|
||||
// (如强制私密),保持仍然只有一条 UPDATE。
|
||||
func answerUpdates(prevAnswer, answer string, extra map[string]interface{}) map[string]interface{} {
|
||||
updates := map[string]interface{}{"answer": answer, "is_read": true}
|
||||
for k, v := range extra {
|
||||
updates[k] = v
|
||||
}
|
||||
if prevAnswer == "" {
|
||||
updates["answered_at"] = time.Now()
|
||||
}
|
||||
return updates
|
||||
}
|
||||
|
||||
func (db *questions) DeleteByID(ctx context.Context, id uint) error {
|
||||
var question Question
|
||||
if err := db.WithContext(ctx).First(&question, id).Error; err != nil {
|
||||
@@ -591,3 +614,14 @@ func (db *questions) QuestionStats(ctx context.Context) (*QuestionStats, error)
|
||||
LastAnswerAt: t.LastA,
|
||||
}, nil
|
||||
}
|
||||
|
||||
// backfillAnsweredAt 为「加列之前就已经回答」的提问冻结回答时间。
|
||||
//
|
||||
// 只能在刚加上 answered_at 这一列时跑一次(调用方按 HasColumn 判断)。
|
||||
// 取值用 updated_at 当近似 —— 那是当时唯一能拿到的可信时间。
|
||||
// 之后这些行的 updated_at 还会被已读/置顶继续往前推,冻结住才不会让
|
||||
// 历史「回答耗时」一天天变大,看着像统计出错。
|
||||
func backfillAnsweredAt(db *gorm.DB) error {
|
||||
return db.Exec(
|
||||
`UPDATE questions SET answered_at = updated_at WHERE answer <> '' AND answered_at IS NULL`).Error
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user