tamakyi/tamabox
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix anwser token and database issus

Browse Source
This commit is contained in:
tamakyi
2026-09-15 11:06:09 +08:00
parent e683e798aa
commit adcc42cc8c
33 changed files with 1011 additions and 802 deletions
Download Patch File Download Diff File Expand all files Collapse all files
internal/security/censor/aliyun.go
+52 -114
View File
@@ -4,20 +4,14 @@
package censor
// 阿里云文本审核通道 —— 内容安全 2.0「文本审核增强版」。
// 阿里云文本审核通道 —— 内容安全 2.0「文本审核增强版」（TextModeration）。
//
// 迁移记录（2026-09）：本通道原走「内容安全 1.0」（/green/text/scan + alibaba-cloud-sdk-go），
// 但 1.0 的开通前提是**企业实名认证**，个人认证账号无法开通，接口会永久返回
// `code=596 You have not opened Yundun Content Moderation Service`。
// 现改为 2.0（TextModeration + alibabacloud-go/green-20220302/v3）：2.0 只要求实名认证
// （个人可开通），且标签体系对底线维度（涉政/暴恐/色情/自定义词库）覆盖完整。
// 1.0（/green/text/scan）需企业实名认证，个人账号永久返回 code=596，故迁 2.0（仅需实名认证）；
// 2.0 标签对底线维度（涉政/暴恐/色情/自定义词库）覆盖完整。官方参考：
// - API：https://help.aliyun.com/practice_detail/434034
// - 标签：https://help.aliyun.com/practice_detail/465315
//
// 官方文档：
// - 文本审核增强版通用服务 API：https://help.aliyun.com/practice_detail/434034
// - 标签处理建议参考： https://help.aliyun.com/practice_detail/465315
//
// ⚠️ 不要把 SDK 里 `TextModerationResponseBodyData.Labels` 的内联注释当作权威标签表：
// 那份列表是旧的且不完整（没有 political 相关标签），以官方《标签处理建议参考》为准。
// ⚠️ SDK 里 TextModerationResponseBodyData.Labels 的内联注释是旧表且不完整（缺涉政标签），以官方为准。
import (
"context"
@@ -35,38 +29,28 @@ import (
)
const (
// aliyunRegionID 内容安全 2.0 的接入地域，SDK 据此解析出
// green-cip.cn-shanghai.aliyuncs.com（见绿网 SDK 的 EndpointMap）。
// aliyunRegionID 接入地域，SDK 据此解析出 green-cip.cn-shanghai.aliyuncs.com。
aliyunRegionID = "cn-shanghai"
// aliyunTextService 文本审核增强版的服务场景。
//
// 选 comment_detection（公聊评论内容检测）：官方定位「评论/弹幕/公聊/转发」，
// 明确覆盖涉黄/涉政/涉暴等底线违规与广告导流，是本站（公开问答为主、私聊为辅）
// 最通用的单一场景。本通道被提问/回答、投票、私聊三条链路共用，接口层不带场景信息；
// 若要按场景细分（例如私聊改用 chat_detection），需给审核入口补 scene 参数。
// aliyunTextService 服务场景。选 comment_detection：官方定位「评论/弹幕/公聊/转发」，
// 覆盖涉黄/涉政/涉暴底线与广告导流。三条链路共用且接口层不带场景，
// 若要按场景细分（如私聊改 chat_detection）需给审核入口补 scene 参数。
aliyunTextService = "comment_detection"
// aliyunContentRuneLimit 2.0 通用服务单次 content 的硬上限。
// 官方文档：content 限定在 600 字符以内。这里按 550 切分以留出安全余量。
// aliyunContentRuneLimit 单次 content 硬上限（官方 600），按 550 切分留安全余量。
aliyunContentRuneLimit = 550
// aliyunChunkOverlapRunes 相邻分片的重叠字符数。
// 切分点可能正好落在一个风险词中间，两段各自都看不出问题；重叠可消除该盲区。
// 代价是少量重复计费（文本审核标准 7.5 元/万次，可忽略）。
// aliyunChunkOverlapRunes 相邻分片重叠字符数：防止风险词正好落在切分点而被漏判。
aliyunChunkOverlapRunes = 50
aliyunReadTimeoutMs = 10000
aliyunConnectTimeoutMs = 5000
// aliyunMaxRawLogBytes 错误信息里回显的原始响应长度上限（按字符计），
// 避免异常响应体过大时把日志刷屏。
// aliyunMaxRawLogBytes 错误信息里回显的原始响应长度上限（按字符计），避免日志刷屏。
aliyunMaxRawLogBytes = 512
// aliyunTextModerationAPI 归一化响应的格式标记。
//
// 解析器据此拒绝「非本格式」的载荷（例如迁移前内容安全 1.0 的响应），
// 让 censor.go 的缓存回放能安全地退回一次实时调用，
// aliyunTextModerationAPI 归一化响应的格式标记：解析器据此拒绝非本格式载荷
// （如迁移前 1.0 的响应），使 censor.go 的缓存回放能安全退回实时调用，
// 而不是把无法识别的历史缓存误判成「通过」。
aliyunTextModerationAPI = "TextModeration"
)
@@ -82,8 +66,7 @@ func NewAliyunTextCensor(accessKey, accessKeySecret string) *AliyunTextCensor {
}
}
// 包级复用的 client：审核请求高频且密钥在启动后不变，
// 用 sync.Once 懒加载一次并设置超时，避免每次审核都重建连接与对象。
// 包级复用 client：密钥启动后不变，用 sync.Once 懒加载一次，避免每次审核都重建连接。
var (
aliyunGreenOnce sync.Once
aliyunGreenClient *green20220302.Client
@@ -93,11 +76,8 @@ var (
warnAliyunAccountIssueDoOnce sync.Once
)
// newAliyunClient 构造内容安全 2.0 客户端。
//
// 不设置 Endpoint 而设置 RegionId：SDK 内置 EndpointMap 会把 cn-shanghai
// 解析成 green-cip.cn-shanghai.aliyuncs.com。超时单位是毫秒
// （见 darabonba-openapi 的 client.ReadTimeout → 请求参数 readTimeout）。
// newAliyunClient 构造 2.0 客户端。设 RegionId 而非 Endpoint：SDK 的 EndpointMap 会解析出
// green-cip.cn-shanghai.aliyuncs.com。超时单位为毫秒。
func newAliyunClient(accessKey, accessKeySecret string) (*green20220302.Client, error) {
regionID := aliyunRegionID
readTimeout := aliyunReadTimeoutMs
@@ -123,10 +103,8 @@ func (c *AliyunTextCensor) getClient() (*green20220302.Client, error) {
return aliyunGreenClient, aliyunGreenErr
}
// newAliyunTextModerationRequest 构造 TextModeration 请求。
//
// 单独抽出便于测试断言请求形态：Service 必须是选定场景，
// ServiceParameters 是 JSON 字符串 {"content": ...}。
// newAliyunTextModerationRequest 构造 TextModeration 请求（Service 为场景，
// ServiceParameters 为 JSON 串 {"content": ...}）。单独抽出便于测试断言请求形态。
func newAliyunTextModerationRequest(text string) (*green20220302.TextModerationRequest, error) {
serviceParameters, err := json.Marshal(map[string]string{"content": text})
if err != nil {
@@ -137,13 +115,10 @@ func newAliyunTextModerationRequest(text string) (*green20220302.TextModerationR
SetServiceParameters(string(serviceParameters)), nil
}
// splitAliyunText 把待审文本切成不超过 2.0 单次上限的分片（按 rune 切，避免切坏多字节字符）。
//
// 为什么必须切分：2.0 通用服务单次 content 硬上限 600 字符，而本站内容上限为
// 提问 1000 / 回答·追问·私聊 2000 / 投票描述 5000 字，长文本必然超限。
// 把超长文本直接发给接口会被拒，进而在 fail-closed 下变成「长内容一律发不出去」。
//
// 分片带 aliyunChunkOverlapRunes 的重叠，消除「风险词正好跨切分点」的漏判盲区。
// splitAliyunText 按 rune 切成不超过单次上限的分片。
// 必须切分：2.0 单次硬上限 600 字符，而本站上限为 提问 1000 / 回答·追问·私聊 2000 /
// 投票描述 5000 字；超长直发会被拒，在 fail-closed 下等于「长内容一律发不出去」。
// 分片带重叠以消除「风险词正好跨切分点」的漏判盲区。
func splitAliyunText(text string) []string {
runes := []rune(text)
if len(runes) <= aliyunContentRuneLimit {
@@ -165,19 +140,16 @@ func splitAliyunText(text string) []string {
return chunks
}
// aliyunTextModerationReason 是 2.0 响应中 Data.Reason 的结构（该字段本身是 JSON 字符串）。
//
// 只声明用到的字段：riskLevel 风险级别、riskTips 子标签、riskWords 命中词。
// aliyunTextModerationReason 2.0 响应中 Data.Reason 的结构（该字段本身是 JSON 字符串）。
type aliyunTextModerationReason struct {
RiskLevel string `json:"riskLevel"`
RiskTips string `json:"riskTips"`
RiskWords string `json:"riskWords"`
}
// parseAliyunReason 解析 Data.Reason。
//
// 字段缺失或非法 JSON 时返回零值 —— 忽略解析错误是刻意的：Reason 是辅助字段，
// 不应因为它的格式变化导致整条审核失败。风险级别拿不到时的保守处理见 aliyunRiskLevelScore。
// parseAliyunReason 解析 Data.Reason。字段缺失或非法 JSON 时返回零值 ——
// 忽略解析错误是刻意的：Reason 是辅助字段，不应因其格式变化导致整条审核失败
// （风险级别拿不到时的保守处理见 aliyunRiskLevelScore）。
func parseAliyunReason(raw string) aliyunTextModerationReason {
var reason aliyunTextModerationReason
if strings.TrimSpace(raw) == "" {
@@ -254,11 +226,8 @@ func aliyunHighestRiskLevel(levels []string) string {
return best
}
// aliyunTextModerationRaw 归一化后的可落库响应。
//
// 它是「在线调用」与「缓存回放」两条路径的唯一输入格式：
// Censor 把（可能多分片的）2.0 响应合并成它并序列化，随后交给 AliyunTextCensorParser；
// censor.go 命中落库缓存时，也把这段 JSON 交给同一个 parser。
// aliyunTextModerationRaw 归一化后的可落库响应：在线调用与缓存回放两条路径的唯一输入格式，
// 最终都交给 AliyunTextCensorParser 解析。
type aliyunTextModerationRaw struct {
// API 格式标记，取值恒为 aliyunTextModerationAPI，供解析器甄别旧格式载荷。
API string `json:"api"`
@@ -266,7 +235,7 @@ type aliyunTextModerationRaw struct {
Code int32 `json:"code"`
Message string `json:"message"`
RequestIDs []string `json:"requestIds,omitempty"`
// Labels 已过滤掉 nonLabel / normal，且已去重。
// Labels 已过滤 nonLabel / normal 并去重。
Labels []string `json:"labels,omitempty"`
RiskLevel string `json:"riskLevel,omitempty"`
Hint string `json:"hint,omitempty"`
@@ -275,8 +244,7 @@ type aliyunTextModerationRaw struct {
// aliyunEmptyCleanRaw 空内容对应的归一化响应（无标签 → 通过）。见 Censor 的空内容分支。
var aliyunEmptyCleanRaw = []byte(`{"api":"TextModeration","statusCode":200,"code":200,"message":"OK"}`)
// aliyunChunkResult 单个分片审核结果里我们关心的最小信息集。
// 抽出这一层是为了让「多分片合并」这段逻辑可以脱离 SDK 与网络单独测试。
// aliyunChunkResult 单个分片结果的最小信息集，使「多分片合并」可脱离 SDK 单独测试。
type aliyunChunkResult struct {
StatusCode int32
Code int32
@@ -288,9 +256,8 @@ type aliyunChunkResult struct {
}
// extractAliyunChunkResult 从 SDK 响应里提取分片结果。
//
// code 非 200/0 表示请求被阿里云拒绝（服务未开通、限流、参数错误等），
// 必须报错而不是当成「未命中」—— 否则 fail-closed 会被悄悄变成 fail-open。
// code 非 200/0 表示请求被拒（未开通、限流、参数错误等），必须报错而非当成「未命中」
// —— 否则 fail-closed 会被悄悄变成 fail-open。
func extractAliyunChunkResult(resp *green20220302.TextModerationResponse) (aliyunChunkResult, error) {
if resp == nil || resp.Body == nil {
return aliyunChunkResult{}, errors.New("text moderation returned an empty response body")
@@ -338,12 +305,8 @@ func extractAliyunChunkResult(resp *green20220302.TextModerationResponse) (aliyu
return result, nil
}
// mergeAliyunChunkResults 把多个分片的结果合并成一份归一化响应。
//
// 合并口径：
// - 标签取并集（任一分片命中即视为整条内容命中）；
// - 风险级别取最高（high > medium > low > none），未知级别按最高处理；
// - Hint 取首个非空，与「首个命中维度决定提示文案」的既有语义保持一致。
// mergeAliyunChunkResults 把多个分片结果合并成一份归一化响应：标签取并集、
// 风险级别取最高（未知级别按最高处理）、Hint 取首个非空。
func mergeAliyunChunkResults(results []aliyunChunkResult) aliyunTextModerationRaw {
merged := aliyunTextModerationRaw{
API: aliyunTextModerationAPI,
@@ -440,17 +403,14 @@ func aliyunRawDigest(raw []byte) string {
return s
}
// AliyunTextCensorParser 把归一化响应转成通用的 TextCensorResponse。
//
// 在线调用与缓存回放共用本函数（见 aliyunTextModerationRaw 的说明）。
// AliyunTextCensorParser 把归一化响应转成通用的 TextCensorResponse（在线调用与缓存回放共用）。
func AliyunTextCensorParser(raw []byte) (*TextCensorResponse, error) {
var parsed aliyunTextModerationRaw
if err := json.Unmarshal(raw, &parsed); err != nil {
return nil, errors.Wrapf(err, "unmarshal response (raw=%s)", aliyunRawDigest(raw))
}
// 格式标记不符：典型是迁移前内容安全 1.0 落库的缓存（形如 {"code":200,"data":[...]}）。
// 这种载荷无法按 2.0 语义解释，必须报错，交由 censor.go 退回一次实时调用；
// 格式标记不符（典型是迁移前 1.0 落库的缓存）必须报错，交由 censor.go 退回实时调用；
// 若当成「无标签 → 通过」，历史缓存就会变成绕过审核的后门。
if parsed.API != aliyunTextModerationAPI {
return nil, errors.Errorf("unsupported aliyun response format (api=%q raw=%s)",
@@ -460,14 +420,12 @@ func AliyunTextCensorParser(raw []byte) (*TextCensorResponse, error) {
// 2.0 不返回逐标签置信度，只有整条内容的 riskLevel，所有标签共用折算后的分值。
score := aliyunRiskLevelScore(parsed.RiskLevel)
// Pass 取「审核服务未给出任何风险标签」。注意它不是最终裁决 ——
// 是否拦截由 policy.go 按箱主严格度决定。
// Pass 只表示「未给出风险标签」，不是最终裁决（是否拦截由 policy.go 按严格度决定）。
pass := len(parsed.Labels) == 0
suggestion := aliyunRiskLevelSuggestion(parsed.RiskLevel)
// 与七牛保持一致：审核服务判为「非通过」却没给出建议时补成 block。
// 典型场景是命中了尚未映射的新标签（既没有明细维度、也没有 riskLevel），
// 不补的话策略层会把它当成未命中放行，与改造前的 fail-closed 行为不一致。
// 与七牛一致：判为「非通过」却没给建议时补成 block（如命中尚未映射的新标签），
// 不补会被策略层当成未命中放行，与改造前的 fail-closed 行为不一致。
if suggestion == "" && !pass {
suggestion = SuggestionBlock
}
@@ -480,8 +438,7 @@ func AliyunTextCensorParser(raw []byte) (*TextCensorResponse, error) {
for _, label := range parsed.Labels {
mapped := formatAliyunForbiddenType(label)
if mapped == "" {
// 未映射的标签不进入明细：它无法参与按维度裁决。
// 原始标签仍完整保留在 RawResponse 中供审计。
// 未映射的标签无法参与按维度裁决，不进明细（原始标签仍保留在 RawResponse 供审计）。
continue
}
@@ -506,25 +463,10 @@ func AliyunTextCensorParser(raw []byte) (*TextCensorResponse, error) {
}, nil
}
// formatAliyunForbiddenType 把内容安全 2.0 的标签映射为本项目的 ForbiddenType。
//
// 标签取值以官方《文本审核增强版标签处理建议参考》为准；括号内为官方释义与风险级别：
//
// political_content / regional 涉政 （高）
// violence 暴恐 （高）
// sexual_content / sexuality 色情 （高）
// contraband 违禁 （高）
// ad / PullinTraffic / ad_compliance 广告引流/广告法合规（中高）
// profanity 辱骂 （中高）
// religion 宗教 （中高）
// negative_content / cyberbullying 不良内容/网络暴力 （中）
// nonsense 无意义 （中）
// spam 垃圾信息
// C_customized 自定义词库命中
//
// 映射结果决定 policy.go 的裁决：政治/暴恐/色情/自定义属底线维度，任何档位都拦。
// 注意 2.0 没有「灌水(flood)」维度（同类内容归入 spam），因此 ForbiddenTypeFlood
// 不会由本通道产生，七牛仍可能返回它。
// formatAliyunForbiddenType 把 2.0 标签映射为 ForbiddenType（取值以官方
// 《文本审核增强版标签处理建议参考》为准；SDK 内联的标签表是旧版且不完整，勿采信）。
// 政治 / 暴恐 / 色情 / 自定义属底线维度，任何档位都拦。
// 2.0 没有「灌水(flood)」维度（同类归入 spam），故 ForbiddenTypeFlood 不由本通道产生。
func formatAliyunForbiddenType(typ string) ForbiddenType {
switch strings.ToLower(strings.TrimSpace(typ)) {
case "political_content", "regional":
@@ -553,10 +495,9 @@ func formatAliyunForbiddenType(typ string) ForbiddenType {
}
}
// aliyunAccountIssueSignals 「账号侧未就绪」的特征信号（小写匹配），覆盖结构化 code 与消息文本两条路径：
// - 596 / "not opened"：服务未开通
// - Forbidden：RAM 未授权
// - InvalidAccessKeyId / SignatureDoesNotMatch：密钥错误
// aliyunAccountIssueSignals 「账号侧未就绪」的特征信号（小写匹配），覆盖结构化 code 与消息文本：
// 596 / "not opened" 服务未开通；Forbidden / no permission RAM 未授权；
// InvalidAccessKeyId / SignatureDoesNotMatch 密钥错误。
var aliyunAccountIssueSignals = []string{
"596",
"not opened",
@@ -592,12 +533,9 @@ func aliyunIsAccountIssue(err error) bool {
return false
}
// warnAliyunAccountIssueOnce 在首次出现「账号侧未就绪」类失败时告警一次。
//
// 这类问题（服务未开通 / RAM 未授权 / 密钥无效）不会自愈，会把 fail-closed 的审核链路
// 永久卡死：外部表现是「全站内容都发不出去」，或（auto 模式下）内容静默落到下一个通道，
// 但日志里原本只是一条普通 ERRO，极易被当成偶发网络抖动而忽略。
// 因此第一次遇到就打出可操作的指引，并用 sync.Once 约束为只打一次，避免按请求刷屏。
// warnAliyunAccountIssueOnce 首次出现「账号侧未就绪」失败时告警一次（sync.Once 避免刷屏）。
// 这类问题（未开通 / RAM 未授权 / 密钥无效）不会自愈，会永久卡死 fail-closed 的审核链路，
// 表现为「全站内容发不出去」，而日志里原本只是一条普通 ERRO、极易被当成偶发网络抖动。
func warnAliyunAccountIssueOnce(ctx context.Context, err error) {
if !aliyunIsAccountIssue(err) {
return