生成式 AI 产品的内容风险有两个方向:用户输入违规内容(会被用于生成违规结果),以及模型输出违规内容(直接呈现给公众)。两者都要管。
| 层 | 做什么 | 实现方式 |
|---|---|---|
| 输入层 | 拦截明显违规的请求 | 关键词库 + 分类模型;命中则拒绝并记录 |
| 生成层 | 约束模型行为 | system prompt 声明边界 + 厂商自带安全策略 |
| 输出层 | 复核生成结果 | 分类模型复核 + 敏感词扫描;命中则不展示 |
纯关键词一定会漏(谐音、拆字、外语、隐语),也一定会误杀(正常讨论医学、法律时)。所以关键词只做第一层粗筛,真正的判断要靠分类模型。
1. 输入改写/规范化(去空格、统一全半角、繁简转换)
2. 关键词粗筛(高频违规词,误杀率可接受)
3. 分类模型判定(0-1 分,超过阈值拒绝)
4. 通过 → 调生成接口
5. 输出再过一遍分类模型 + 敏感词
6. 命中 → 替换为固定话术,并记录样本供人工复核
7. 全部请求保留审计记录(输入哈希、判定分、处置结果)保留处置记录有三个实际用途:一是合规检查时需要说明「你做了什么」;二是被误杀的用户申诉时能复盘;三是这些样本是优化审核模型的最好素材。