小米汽车大模型算法一二面：奖励投机、采样与线上验证
本场面试题
- 是否出现 Reward Hacking 现象，如何处理？
- Top-k、Top-p 的采样原理是什么？两者同时使用时怎样组合？
- 离线评测达标后，怎样验证线上效果？
面经与参考答法
小米汽车大模型算法一二面：奖励投机、采样与线上验证
这份自述记录了小米汽车大模型算法岗一面和二面的题单，两轮作为同一面试流程整理。具体部门和面试日期未披露，不能由发布信息或校招届别补出年份。这里选取三组明确问题，训练配置、实际收益与手撕题因缺少回答或条件未展开。经历未经外部核实；以下短答与示例是编辑补充的学习材料，不代表当事人的现场回答或公司的实际实现。
（1）是否出现 Reward Hacking 现象，如何处理？
原帖未披露是否实际发生。Reward Hacking 指策略提高了代理奖励，却没有完成真实目标。应回放轨迹，对照任务最终状态检查奖励与目标的偏差，修正规则或评分器，并让测试、隐藏验证集和评分逻辑处于 Agent 无权修改的边界之外；结合保留集、对抗案例与人工抽查验证，不能只看训练奖励上涨。
教学示例（非原面试实现）：代码 Agent 如果通过删改测试获得“全绿”，并不代表修好了需求。将验证器和保留测试放在受控环境中，再检查真实功能与修改范围，才能区分完成任务和钻评分规则的空子。
（2）Top-k、Top-p 的采样原理是什么？两者同时使用时怎样组合？
Top-k 保留概率最高的固定数量候选，Top-p 保留累计概率达到阈值的最小高概率候选集合，再按过滤后的归一化分布采样。同时使用会进一步限制候选，但过滤顺序、是否在中间重新归一化以及参数支持范围取决于具体实现；不能把一种框架的顺序当成所有模型 API 的标准，也不能把低随机性等同于事实正确。
教学示例（非原面试实现）：候选概率为 0.40、0.25、0.20、0.10、0.05 时，直接用 Top-p=0.6 会保留前两项。若某实现先取 Top-k=2 并重新归一化，首项变成约 0.615，再做 Top-p=0.6 就可能只留首项。这个条件例子说明为什么组合时要核对实现。
（3）离线评测达标后，怎样验证线上效果？
原帖没有披露上线方案。先固定版本、指标口径与失败标准，再从经过隐私处理的生产 Run 中分层随机抽样，结合自动检查和人工复核，用 Trace 关联模型、工具、数据与策略版本，同时观察任务质量、安全、时延和成本。风险与异常队列适合找问题，不能直接当总体失败率；要判断版本是否造成业务改善，还需合适的随机对照实验。
教学示例（非原面试实现）：保留一组按任务类型随机抽取的样本估计整体质量，再单独复核高风险工具失败。两队列去重并保留入选原因，不能把过采样的失败案例比例直接报告为全部线上请求的失败率。