淘天供应链 AI 应用一面:失败复盘、工具并行与精确检索
本场面试题
- 怎样复盘一个真实 bad case,并证明优化有效?
- 串行工具或脚本怎样判断能否改为并行?
- 用户给了明确错误,为什么向量检索仍可能找不到?
面经与参考答法
淘天供应链 AI 应用一面:失败复盘、工具并行与精确检索
公司为阿里,标题注明淘天供应链、AI 应用研发一面;正文自述 9 月 21 日面试、无手撕并在之后得知流程结束,年份未注明。具体团队和总时长未给出。
根据公开面试自述选录,经历未经外部认证。短答和例子均为编辑教学补充,不代表候选人现场回答、原项目已实现能力或企业标准答案。
选录真实失败复盘、串行转并行、明确错误的检索三组。Skill 选择、脚本、效率证明、回归集、代码检索、知识库更新及 MQ 幂等并发问题都保留私有完整库存,未把本页选择范围写成整场全部题目。
(1)怎样复盘一个真实 bad case,并证明优化有效?
沿实际轨迹还原输入、Skill 选择、工具参数、返回结果和最终产物,把观察与根因假设分开。固定当时的数据与版本,定位最早偏离预期的位置,再用最小改动验证假设;回归同类失败和正常场景。报告改进与退化,不能用一条修复后的成功截图替代效果证据。 教学例子:若误选工具源自描述重叠,修改描述后既看原失败是否修复,也看相邻任务是否新误选。例子是编辑演示,不是作者披露的bad case。
(2)串行工具或脚本怎样判断能否改为并行?
先画数据依赖和副作用冲突,只把互不依赖、无冲突的操作并发执行。设置总体和单工具并发上限、超时、取消与配额,保留调用标识对应结果;部分失败要有明确合并规则。用相同任务比较总耗时、成功率和资源占用,不能只增加并发数。 教学例子:两次只读查询可以独立发出;写记录再读取新版本则有依赖。并发返回顺序不同,结果仍按调用标识关联,不能按数组到达位置猜。
(3)用户给了明确错误,为什么向量检索仍可能找不到?
向量相似度擅长语义候选,却未必精确保留错误码、标识符、路径或版本条件。先核对解析、入库、过滤和查询是否正确,再考虑关键词/BM25与向量混合召回、重排及精确字段过滤。用带正确证据的失败样本评估,不能见到未命中就统一换Embedding模型。 教学例子:错误码只差一位可能含义完全不同,词项精确匹配和版本过滤可补语义召回;最后仍需检查段落是否真的解释该错误。