ReviewBench:用于评估 AI 代码审查的开放基准
GitHub 开放 AI 代码审查基准 ReviewBench 研究预览版,提供公开数据集、评估方法和自助运行工具。数据集涵盖来自 187 个公共开源仓库的 219 个拉取请求、19 种语言,结合多来源参考问题集与统一评判标准,独立高级工程师复核的一致率为 96.6%。
GitHub 开放 AI 代码审查基准 ReviewBench 研究预览版,提供公开数据集、评估方法和自助运行工具。数据集涵盖来自 187 个公共开源仓库的 219 个拉取请求、19 种语言,结合多来源参考问题集与统一评判标准,独立高级工程师复核的一致率为 96.6%。
研究人员基于 UC Berkeley Sky Lab 的进化内核搜索框架 K-Search 构建了 MLX 后端与结构化翻译层,可自动将成熟的 CUDA kernel 优化经验迁移至 Apple Silicon。
研究团队提出 ABBEL 框架,将交互历史形式化为自然语言“信念状态”并引入信念评分(Belief Grading),以解决 LLM 长程交互中上下文压缩导致的性能损耗。在 CollabBench 协作编程评测中,ABBEL-rec-BG 将与全上下文模型的性能差距缩小约 50%,训练步数从 100 步减半至 50 步,且显著降低了峰值上下文 token 消耗。