百度 AI 应用实习：回答评测、重排与 Bad Case 定位
本场面试题
- 系统回答的效果是怎么评估的？
- Rerank 重排怎么考虑，实测有提升吗？
- 如果问答出现了 Bad Case，怎么定位？
面经与参考答法
百度 AI 应用实习：回答评测、重排与 Bad Case 定位
原帖自述为百度 AI 应用开发实习面试经历，具体部门、轮次与面试日期未披露。本页选取回答评测、重排和故障定位三组，其他项目与部署题条件简略，不补写实现细节。
面试经历为个人自述，未经独立核实；下列短答和示例为编辑教学整理，不代表当事人的现场回答、项目实现或实测效果。
（1）系统回答的效果是怎么评估的？
先按业务定义正确答案、证据充分性、拒答边界与失败代价，用独立、可复现的样本比较。若系统包含检索，应分别评召回和排序，再评答案是否忠实于证据、是否回答问题，并记录延迟与成本。自动指标或模型裁判需要抽样人工校准，不能只看一个总分。
教学示例（非原面试实现）：一条退款问题即使回答通顺，引用过期政策仍可能判为证据失败；应把这类时效问题单独列为评测切片，避免总体平均分掩盖错误。
（2）Rerank 重排怎么考虑，实测有提升吗？
原帖没有披露实测结果。重排在初步召回的候选中，按查询与候选的相关性重新排序，不能找回漏召回的证据。评估时冻结查询、候选池和权限、时效条件，对比排序指标及最终回答质量，再看新增时延、成本和上下文预算；收益不足时保留简单基线。
教学示例（非原面试实现）：正确政策已在候选第八位、却进不了最终上下文时，可比较重排前后它的名次；若它根本没进入候选池，应先检查召回，不能把换重排器当作修复。
（3）如果问答出现了 Bad Case，怎么定位？
保留可回放的问题、权限、数据与索引版本、候选、重排结果、最终上下文及模型配置。先确认正确证据在哪一层丢失，再分别检验解析、召回、排序、装配和生成，一次替换一个条件。缺少正确数据时补数据或拒答，不能靠改 Prompt 猜答案。
教学示例（非原面试实现）：固定模型与 Prompt，把确认有效且有权限的正确证据放入评测上下文。若答案恢复，继续检查上游取证与装配；这只是缩小范围，不能直接证明唯一根因。