跳到正文
10月7日周三
  1. Microsoft Research53

    Microsoft Research 播客:Jennifer Neville 谈 AI 的意外失败与评估方法

    Microsoft Research 播客中,Jennifer Neville 与 Chad Atalla 对谈 AI 系统评估与失败模式。她指出模型在多轮对话中的表现较单轮基准显著下降,长工作流中未及时捕捉的错误会累积并进一步干扰 AI;团队正研究强化学习方法改进,同时建议用户遇到问题时可重新完整指定单轮指令,并通过文本反馈精确描述失败以帮助改进模型。

10月5日周一
  1. GitHub Blog · AI & ML55

    GitHub 发布开源基准 ReviewBench 用于评估 AI 代码审查

    GitHub 发布离线基准 ReviewBench,用于评测 AI 代码审查 Agent。基准基于 103.9M 真实 pull request 的分布建模,包含 219 个跨 19 种语言的公开 PR,采用人审、静态分析和多个 frontier LLM 构建的多源 golden set,以 Claude Sonnet 5 作为评分模型,资深工程师独立复检一致率达 96.6%。

10月1日周四
板块