腾讯企业微信测开实习一面:工作流取舍与离线评测
本场面试题
- 自己用 Workflow 搭 Agent,与 Harness + Skill 方案相比,哪种更好?
- 离线评测集怎么设计?与记忆知识库重叠会造成作弊吗,覆盖度如何考虑?
面经与参考答法
腾讯企业微信测开实习一面:工作流取舍与离线评测
原帖标题自述企业微信日常测开一面,技术追问集中在 Agent 项目;具体团队、面试日期与原帖发布时间未知。本页按自述业务语境整理,不从投递入口推断实际部门。这里只选两组明确问题,算法、Go Context 与推荐项目的其他追问未展开。经历未经外部核实;短答与示例是编辑补充的学习材料,不代表现场回答或公司的实际实现。
(1)自己用 Workflow 搭 Agent,与 Harness + Skill 方案相比,哪种更好?
先约定 Harness 指哪些运行能力、Skill 封装哪些任务做法,再比较同一任务下的质量、恢复、权限、时延和维护成本,没有通用胜者。稳定步骤与业务不变量适合由 Workflow 明确控制;现成运行时可以承接模型循环、上下文和工具等能力,Skill 复用执行方法。它们也能组合:模型只在受控节点内选择,授权、状态、预算和验收仍由程序约束。
教学示例(非原面试实现):报告任务的数据读取、校验和提交可保持固定步骤,Agent 在允许范围内选择分析路径,Skill 提供分析方法。无论使用什么框架,仍要检查工具权限、失败出口和实际产物。
(2)离线评测集怎么设计?与记忆知识库重叠会造成作弊吗,覆盖度如何考虑?
先定义任务、初始环境、允许信息和成功判据,再按常见、边界、无偏好、负反馈与工具失败等场景分层。知识库含有任务允许使用的业务证据,不必然是作弊;应防止测试题、标准答案、隐藏判据或未来反馈进入被测系统,并隔离各次执行的记忆与缓存。开发集、回归集和独立保留集分工清楚,固定版本与分母,报告各切片和遗漏风险;题目数量不能证明覆盖充分。
教学示例(非原面试实现):同一任务的新一轮评测应从约定初始状态开始,不能读取前一次留下的答案或工具结果。若系统必须使用历史记忆,就固定可见的记忆快照与时间边界,单独检查有记忆、无记忆和冲突记忆的表现。