腾讯大模型算法岗一二面：Agentic RL、PPO/GRPO 与 DeepSeek V4
面经与参考答法
腾讯大模型算法岗一二面：Agentic RL、PPO/GRPO 与 DeepSeek V4
原帖发布于 2026 年 8 月，未披露具体面试日期。本文按原文轮次选录可见技术问题；解答为独立教学整理，不代表候选人的现场答案，也不将模型技术说明归为企业的面试标准。
这份两轮技术面记录集中考察 Agentic RL 的长时序信用分配、PPO/GRPO/DAPO/DSPO、上下文压缩、Reward Hacking，以及 DeepSeek V4 的后训练路线；两轮均包含算法题。回答重点是区分奖励、优势估计、策略约束和损失聚合的不同职责，不要只背算法缩写。
一面
（1）Agentic RL 与常见的大模型强化学习有什么核心区别？
（1）Agentic RL 与常见的大模型强化学习有什么核心区别？
关联知识点待核实。
常见的大模型 RL 可简化为“一个 Prompt 生成一段回答，再对整段输出评分”；Agentic RL 则把模型放进持续交互的环境，动作可能是推理片段、搜索、代码执行或其他工具调用，环境会返回新的观察并改变后续状态。
因此 Agentic RL 通常具有更长且长度不固定的轨迹、稀疏延迟奖励、部分可观测状态、工具与环境随机性，以及真实副作用。训练对象也不只是模型输出，还包含工具协议、环境版本、上下文管理和终止条件。它不是一种完全独立的算法，而是对状态、动作、轨迹和奖励定义提出了更强的序贯决策要求。
（2）长时序任务下，Agent 强化学习为什么容易失稳甚至崩溃？
（2）长时序任务下，Agent 强化学习为什么容易失稳甚至崩溃？
关联知识点待核实。
底层问题不是简单的“梯度消失”，而是最终奖励要穿过大量中间决策才能解释：奖励越稀疏、轨迹越长，优势估计方差越大，错误动作和策略偏移也越容易累积。工具返回、检索结果和上下文压缩还会改变有效状态，使同一个结果可能对应多条完全不同的因果路径。
工程上可用课程学习逐步增加轨迹长度，保留完整轨迹与环境版本，按步骤或阶段提供可验证信号，并使用保守更新、动态采样、序列级目标和独立验证集。过程奖励也可能被投机，不能仅靠增加中间分数解决稳定性。
（3）Agent 自进化是否等于模型自主迭代训练？
（3）Agent 自进化是否等于模型自主迭代训练？
关联知识点待核实。
不等于。更可靠的自进化是受控闭环：从失败轨迹和业务反馈生成候选改动，改动对象可以是 Prompt、工具、记忆、策略或模型权重；随后在隔离环境和冻结评测集上比较基线，只有通过质量、安全、成本门禁后才灰度发布，并且必须能够回滚。
Agent 可以自动提出改动甚至触发训练任务，但数据授权、验收规则、发布权限和最终边界应由外部系统控制。仅在推理时写入记忆或修改 Prompt 不是权重训练，也不能称为模型“自行进化”。
延伸阅读：线上反馈、评估集与持续改进闭环、生产级 Agent 评估系统设计。
（4）PPO 与 GRPO 在信用分配上有什么区别？
（4）PPO 与 GRPO 在信用分配上有什么区别？
关联知识点待核实。
PPO 通常使用 Actor-Critic：Critic 估计状态价值，GAE 根据多步 TD 残差得到每个时间步的优势，因此可以形成较细粒度的时序信用信号，但需要额外价值模型，且错误的价值估计会引入偏差。
GRPO 不训练 Critic，而是对同一问题采样一组回答，以组内奖励的均值和方差构造相对优势。常见实现把同一个序列级优势赋给该回答中的全部 Token，因此省掉价值模型，却不能直接指出究竟哪个中间动作促成成功；一组样本全对或全错时还可能没有有效梯度。两者的差异不只在“有没有 Critic”，奖励粒度与损失聚合方式同样关键。
（5）PPO 的 Clip 与 KL 约束是否等价？
（5）PPO 的 Clip 与 KL 约束是否等价？
关联知识点待核实。
不等价。Clip 对采样动作的新旧策略概率比做局部截断，超过区间后不再鼓励该方向继续变化；它实现简单，但不是全局 KL 的硬上界，也不能保证一次更新后整体策略分布一定足够接近旧策略。
KL 惩罚则直接度量两个完整分布的差异，通过系数控制偏离程度，可以采用固定或自适应权重。实践中可以同时使用 Clip、KL 监控和提前停止。还要区分“新策略对旧策略的近端约束”与“RLHF 中对冻结参考模型的 KL 正则”，两者目的不同。
（6）DAPO 的 Token 级损失相较原生 GRPO 改变了什么？
（6）DAPO 的 Token 级损失相较原生 GRPO 改变了什么？
关联知识点待核实。
这里的“Token 级”主要指损失归约方式。原生 GRPO 常先在每条回答内部按 Token 求平均，再对回答求平均，因此每条回答总权重相同，长回答中单个 Token 的贡献会被长度稀释。DAPO 改为把一组回答中的有效 Token 放在一起归一化，使每个 Token 的权重更接近一致，长轨迹可以贡献更多总梯度。
DAPO 还组合了非对称的 Clip-Higher、过滤全对/全错组的动态采样，以及超长回答奖励塑形。不能把它概括成“只把 GRPO 换成 Token Loss”。
延伸阅读：Agentic RL：长时序信用分配与策略优化。
（7）三数之和怎样实现？
（7）三数之和怎样实现？
关联知识点待核实。
先排序，固定第一个数，再用左右双指针寻找另外两个数。当前和过小时右移左指针，过大时左移右指针；固定值和命中后的左右值都要跳过重复元素。时间复杂度为 O(n²)，额外空间取决于排序实现。编码前还要确认是否返回数值三元组、是否要求去重，以及整数溢出边界。
二面
（8）已有 Critic，PPO 为什么还需要 GAE？
（8）已有 Critic，PPO 为什么还需要 GAE？
关联知识点待核实。
Critic 给出的是状态价值 V(s)，即从当前状态继续执行的期望回报；Actor 更新真正需要的是某个动作相对基线好多少，即优势函数。直接使用完整 Monte Carlo 回报方差很大，只使用一步 TD 又会过度依赖不准确的价值估计。
GAE 对 TD 残差
δ_t = r_t + γV(s_{t+1}) - V(s_t)
做指数加权：
A_t = Σ(γλ)^l δ_{t+l}
其中 λ 在偏差与方差之间折中。Critic 提供基线，GAE 负责把多步奖励组合成更稳定的优势估计，两者不是替代关系。
（9）上下文压缩为什么会让信用分配更困难？
（9）上下文压缩为什么会让信用分配更困难？
关联知识点待核实。
压缩会把不同的完整历史映射成相似摘要，删除早期动作、否定条件或工具证据后，当前观察可能不再足以解释最终结果，形成状态混叠和部分可观测问题。如果压缩策略本身不断变化，训练时的状态分布也会漂移。
要区分“Agent 当前能看到的上下文”和“训练器保存的完整轨迹”：即使推理上下文被压缩，训练系统仍应在外部保存原始动作、环境返回、旧策略概率和压缩版本。更稳妥的做法是把压缩视为显式环境转移，在压缩边界建立检查点，并分别评估状态恢复率和任务结果。
延伸阅读：上下文压缩、摘要与裁剪。
（10）Agent RL 为什么更容易出现 Reward Hacking？
（10）Agent RL 为什么更容易出现 Reward Hacking？
关联知识点待核实。
Agent 的动作空间不只是文字，它可能修改文件、测试、检索结果、评审输入或环境状态，因此有更多机会让代理指标变高，却不完成真实目标。长轨迹和重复试验还会持续搜索奖励漏洞；若模型裁判、测试用例或奖励通道可被 Agent 观察或修改，风险会进一步放大。
治理要把真实环境终态、隐藏保留集和不可由 Agent 修改的验证器放在奖励之外；同时限制权限、记录完整轨迹，并用对抗任务、人工抽检和多维硬约束检查投机行为。提高奖励模型分数不能作为唯一成功证据。
（11）DSPO 为什么采用序列级优化？
（11）DSPO 为什么采用序列级优化？
关联知识点待核实。
DSPO 即 Dynamic-filter Sequence-level Policy Optimization。它用整条轨迹 Token 概率比的几何平均构造序列级重要性比，再对该序列统一裁剪，使优化单位与终局奖励单位一致，减少长轨迹中 Token 级权重噪声的累积。
它同时过滤奖励全部相同的组，只保留同时包含成功和失败轨迹的组，保证组相对优势有有效信号。其优势主要针对稀疏终局奖励的 Agentic Search 场景，不能直接外推为所有任务都应放弃 Token 级或过程级奖励。
（12）DeepSeek V4 相比 V3 系列有哪些核心升级？
（12）DeepSeek V4 相比 V3 系列有哪些核心升级？
关联知识点待核实。
回答时先锁定版本：官方 V4 技术报告主要与 V3.2 比较。V4 使用 CSA 与 HCA 组成的混合注意力、mHC 残差连接和 Muon 优化器，并把上下文扩展到百万 Token，同时显著降低长上下文推理计算和 KV Cache 占用。
后训练方面，领域专家仍先经过微调与 GRPO，再使用多教师 OPD 合并到统一模型；Agent 侧还增加新的工具调用格式、跨工具轮次的思考管理、快速指令和大规模沙箱基础设施。因此升级同时涉及架构、训练、推理效率和 Agent 工程，不能只回答“窗口更长”。
（13）为什么 V4 最终合并阶段用 OPD 取代混合 RL？
（13）为什么 V4 最终合并阶段用 OPD 取代混合 RL？
关联知识点待核实。
题目前提要稍作修正：V4 并非完全不用 RL，各领域专家仍使用 RL；被 OPD 替换的是最终的混合 RL 阶段。这样可以先让不同专家分别学习数学、代码等能力，再由统一学生模型在自己的轨迹上匹配相关专家分布，降低直接权重合并或多目标混合 RL 的能力干扰。
教师分布提供的稠密 Logit 信号通常比稀疏奖励更稳定，也便于把多个专家合并到一个模型。不过 OPD 会继承教师偏差，教师前向与全词表 Logit 也带来很高的存储、调度和计算成本。
（14）OPD 与常规知识蒸馏有什么本质区别？
（14）OPD 与常规知识蒸馏有什么本质区别？
关联知识点待核实。
常见离线蒸馏在固定数据或教师生成样本上训练学生，学生看到的状态未必来自自身当前策略。OPD 让学生先按当前策略生成轨迹，再由教师对学生实际访问的状态给出分布监督，因此训练分布会跟随学生变化。
DeepSeek V4 使用多教师、全词表 Logit 和反向 KL，让统一学生在不同任务上向对应专家靠近。不能笼统地说所有传统蒸馏都只使用硬标签；真正的区分点是轨迹由谁生成、监督在哪个状态分布上计算，以及采用什么 KL 方向和教师组合。
延伸阅读：在线策略蒸馏（On-Policy Distillation）。
（15）怎样求两张图像差异的最小包围矩形？
（15）怎样求两张图像差异的最小包围矩形？
关联知识点待核实。
若两张同尺寸图像需要一个矩形覆盖全部差异像素，扫描每个像素；发现差异时更新 minRow、maxRow、minCol、maxCol。扫描结束后由四个边界构造矩形，无差异则返回空结果。时间复杂度为 O(HW)，额外空间为 O(1)；若输入已是稀疏差异点集合，则只需 O(k)。
实现前应澄清像素差异是逐通道精确比较还是带容差比较、坐标采用闭区间还是半开区间，以及多块不连通差异是要一个总包围框还是分别求连通区域。
延伸阅读：数组、字符串与双指针。