公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/安全与合规/内容审核:AI 产品绕不开的一层

内容审核:AI 产品绕不开的一层

2026-11-22约 7 分钟读完审核合规安全

生成式 AI 产品的内容风险有两个方向:用户输入违规内容(会被用于生成违规结果),以及模型输出违规内容(直接呈现给公众)。两者都要管。

三层结构

层做什么实现方式
输入层拦截明显违规的请求关键词库 + 分类模型;命中则拒绝并记录
生成层约束模型行为system prompt 声明边界 + 厂商自带安全策略
输出层复核生成结果分类模型复核 + 敏感词扫描;命中则不展示

关键词库的局限

纯关键词一定会漏(谐音、拆字、外语、隐语),也一定会误杀(正常讨论医学、法律时)。所以关键词只做第一层粗筛,真正的判断要靠分类模型。

典型实现顺序

流程
1. 输入改写/规范化(去空格、统一全半角、繁简转换)
2. 关键词粗筛(高频违规词,误杀率可接受)
3. 分类模型判定(0-1 分,超过阈值拒绝)
4. 通过 → 调生成接口
5. 输出再过一遍分类模型 + 敏感词
6. 命中 → 替换为固定话术,并记录样本供人工复核
7. 全部请求保留审计记录(输入哈希、判定分、处置结果)

留证:不是为了应付检查

保留处置记录有三个实际用途:一是合规检查时需要说明「你做了什么」;二是被误杀的用户申诉时能复盘;三是这些样本是优化审核模型的最好素材。

  • 记录:时间、用户标识(脱敏)、输入摘要、判定分、处置动作。
  • 保留期:按业务性质定,通常 6 个月~1 年。
  • 访问控制:只有合规与安全角色能查。
责任归属
一个常见误区:以为用了「有安全策略的大厂接口」就不用自己做审核。厂商的策略是通用底线,不覆盖你的业务场景(比如你的行业特有敏感话题),也不承担你的合规责任。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。