字节 TikTok Shop 质量方向一面：LLM Judge 与测试集覆盖
本场面试题
- LLM Judge 的数据与输入怎样组织？
- 测试集为什么选这些数据，怎样说明覆盖范围？
面经与参考答法
字节 TikTok Shop 质量方向一面：LLM Judge 与测试集覆盖
标题注明字节 TikTok Shop、AI Agent 开发工程师质量方向、一面；作者自述时长 40 多分钟。面试日期未给出，不能用发帖日代替。反问关于团队未来计划的回答只视为该次交流，不作为业务现状的外部认证。
根据公开面试自述选录，经历未经外部认证。短答和例子均为编辑教学补充，不代表候选人现场回答、原项目已实现能力或企业标准答案。
选录 LLM Judge 的数据与输入、测试集代表性两组。数据结构、数据库、接雨水及其余问题均保留私有完整库存；作者说明记录仍可能补充，本页只使用已经见到的题目。
（1）LLM Judge 的数据与输入怎样组织？
先定义要评什么，再向评审器提供任务、候选产物、必要的可信证据和明确评分准则。数据应有授权、脱敏和版本记录，参考答案是否存在及其来源也要说明。输出包含分项判断和证据位置，并与人工或确定性判据校准；Judge 的分数本身不是真实正确性的证明。 教学例子：评估带引用的回答时同时给原问题、候选回答和获准证据，检查结论是否被证据支持；只给一段流畅回答让模型打总分，会漏掉事实错误。原项目具体输入格式没有公开。
（2）测试集为什么选这些数据，怎样说明覆盖范围？
从目标任务分布抽样，同时保留关键失败、高影响与稀有边界切片，记录样本来源、去重、标注和版本。开发集与留出集分开，逐场景报告结果；任何有限测试集都不能保证覆盖所有未来情况。上线后用新失败补充回归，但保留未用于调优的评估数据。 教学例子：测试集只有正常中文请求，即使平均分高，也不能说明它覆盖缺字段、多语言或依赖失败；应先声明这些缺口，再为关键场景补独立样本。