腾讯 CSIG 元宝内容安全日常实习：评测集、输出校验与问题归因
本场面试题
- 评测目标和测试集该怎样定义？
- 怎样让模型生成的评测用例有可核查的信息依据？
- 云端 Agent 的输出安全校验怎样分层？
- 问题归因环节怎样逐步改造为自动化流程？
面经与参考答法
腾讯 CSIG 元宝内容安全日常实习：评测集、输出校验与问题归因
原页发布时间（北京时间）：2026-09-03T19:38:02+08:00。原文明确一面为2026年8月20日；其余轮次只列月日，不补年份，9.4 HR是否已完成未确认。本帖多轮，不设统一面试日期。
根据公开候选人自述整理；岗位和面试经历未获外部认证。简答为教学整理，不是作者现场作答。
（1）评测目标和测试集该怎样定义？
先明确场景、用户目标、允许能力和可观察的成功条件，再从授权且脱敏的真实案例、历史失败、边界与高风险情形构建样本。每条记录输入、证据、预期结果或评分规则、来源和版本；按场景与风险切片，开发集与最终测试分开。用覆盖矩阵查缺口，并以新失败补回归；有限样本不能证明所有场景已覆盖。
（2）怎样让模型生成的评测用例有可核查的信息依据？
先整理经过授权和版本确认的文档与案例，为每条候选用例绑定支持片段、输入、预期与适用条件；让模型在给定证据范围内扩展人工种子。生成后校验结构、证据是否真支持预期、矛盾和重复，无法支持的保留待审；人工抽查并专审高风险样本。合成样本与真实分布分别标记，避免把模型自评当作正确标签。
（3）云端 Agent 的输出安全校验怎样分层？
先澄清输出接收者、文本或结构化/执行指令类型，以及内容和数据政策。受信任服务做格式、敏感信息、权限与业务规则检查；展示端按HTML、Markdown等消费场景处理，模型指令不直接执行。分类器辅助语义审核，在正常与对抗样本上测误报漏报；高风险或不确定结果阻断或复核。原帖未给输出规格和实际安全策略。
（4）问题归因环节怎样逐步改造为自动化流程？
先统一归因类别和人工判据，关联输入、预期、实际结果、版本与各步骤trace证据。可确定的错误用规则识别；语义问题由模型给候选标签和支持证据，证据不足或冲突时保留未知并交人工。用人工标注集按类别核一致性、误判与未归因率，修复后跑回归。链路相关性不能单独证明根因，原帖没有自动分类器或实测结果。