Microsoft Research 播客:Jennifer Neville 谈 AI 的意外失败与评估方法
Microsoft Research 播客中,Jennifer Neville 与 Chad Atalla 对谈 AI 系统评估与失败模式。她指出模型在多轮对话中的表现较单轮基准显著下降,长工作流中未及时捕捉的错误会累积并进一步干扰 AI;团队正研究强化学习方法改进,同时建议用户遇到问题时可重新完整指定单轮指令,并通过文本反馈精确描述失败以帮助改进模型。
Microsoft Research 播客中,Jennifer Neville 与 Chad Atalla 对谈 AI 系统评估与失败模式。她指出模型在多轮对话中的表现较单轮基准显著下降,长工作流中未及时捕捉的错误会累积并进一步干扰 AI;团队正研究强化学习方法改进,同时建议用户遇到问题时可重新完整指定单轮指令,并通过文本反馈精确描述失败以帮助改进模型。
GitHub 发布离线基准 ReviewBench,用于评测 AI 代码审查 Agent。基准基于 103.9M 真实 pull request 的分布建模,包含 219 个跨 19 种语言的公开 PR,采用人审、静态分析和多个 frontier LLM 构建的多源 golden set,以 Claude Sonnet 5 作为评分模型,资深工程师独立复检一致率达 96.6%。