返回评测
代码生成 代码-编辑重构 未饱和 模态 · 代码 任务 · 执行验证 已废弃

Aider Polyglot

评估 LLM 作为代码编辑助手在多种编程语言中修改现有代码的能力;2024-12 发布,官方榜最新条目停在 2025 年(DeepSeek-V3.2-Exp),2026 年前沿模型无一收录,头名为 GPT-5 (high) 88.0%

Aider ·

考察能力

代码编辑 多语言 重构 Bug修复 Python JS Java C++

构建信息

数据规模
225 道 Exercism 练习题 / 6 种语言(C++、Go、Java、JavaScript、Python、Rust)
评测方式
aider CLI 实跑:模型须输出正确编辑格式并令测试通过;榜单同时给「correct edit format」一列
核心指标
Percent correct(通过率),另附每次完整跑的成本

资源链接

模型效果排行

🥇 GPT-5 (high) — 官方榜第 1, $29.08/次, 编辑格式正确率 91.6%; 同模型 medium 86.7% / low 81.3%
88.0% 2025-09
🥈 o3-pro (high) — 官方榜第 3, $146.32/次, 全场最贵; 编辑格式正确率 97.8%
84.9% 2025-09
🥉 Gemini 2.5 Pro Preview 06-05 (32k think) — 官方榜第 4, $49.88/次; 编辑格式正确率 99.6%
83.1% 2025-09
4. o3 (high) — 官方榜第 6, $21.23/次
81.3% 2025-09
5. Grok 4 (high) — 官方榜第 7, $59.62/次
79.6% 2025-09
6. DeepSeek-V3.2-Exp (Reasoner) — 官方榜第 12, $1.30/次; 前八里唯一成本低于 $2 的条目
74.2% 2025-10
7. Claude Opus 4 (32k thinking) — 官方榜第 15, $65.75/次; 同模型 no-think 档为 70.7%
72.0% 2025-09
8. o4-mini (high) — 官方榜第 17, $19.64/次
72.0% 2025-09

为什么重要

Aider Polyglot 评测编程助手在多语言环境下的代码编辑能力——覆盖 Python/JS/TS/Java/C#/Go 等,DeepSeek R1 报告中的核心编码评测。

构建方式与示例

使用 Aider 框架在多语言项目上测试代码编辑成功率。例如:“在这个 TypeScript 项目中重构 UserService 类,将同步方法改为 async/await。“

关键发现

多语言覆盖揭示了模型的语言偏好——大部分模型在 Python 上最强,Go/Rust 上最弱。

最新进展(2026-10-29 抓取官方榜)

这是一次「陈旧卡大修 + 判停更」,不是分数更新。 三件事:

一、卡内原有三个值里有两个与官方榜对不上,已按官方榜更正。

模型本卡旧值官方榜实际值结论
Claude Opus 482.7%72.0%(32k thinking)/ 70.7%(no think)旧值高出 10.7pp,无来源可追溯,已更正
GPT-578.4%88.0%(high)/ 86.7%(medium)/ 81.3%(low)旧值不对应任何一个档位,已更正
DeepSeek R171.2%71.4%(0528 版)差 0.2pp,属四舍五入,口径一致

旧值没有任何一条能对应到官方榜的某个档位,最可能的来源是当时某个二手转述把不同档位或不同模型的值拼在了一起。这提醒一件已经踩过多次的事:Aider 榜的每一个分数都必须带档位(high / medium / low / 32k think / no think),因为同一模型的档位跨度可达 6.7pp(GPT-5 high 88.0% vs low 81.3%)。

二、官方榜已经停更,本卡 status 因此判为 deprecated。 判据有三条:① 榜上最新的模型是 DeepSeek-V3.2-Exp(2025 年 9–10 月),2026 年发布的 Claude Opus 5 / 5.5、GPT-6 系列、Gemini 4、Kimi K3、DeepSeek V4 全部没有条目;② 榜单没有任何”最后更新”标注,也没有 2026 年的新增行;③ Aider 自身的最新公开动作(ProgramBench、CodeClash)都不再是 Polyglot。一个 2024-12 发布、收录截止在 2025 年的 225 题基准,已经无法回答”现在谁的代码编辑更强”。 按惯例,判 deprecated 不等于说它历史上的结论失效——它 2025 年的那些读数仍然有效,只是不再是一把能用的尺子。

三、即便在它自己的时代,这张榜也有一条值得留下的结论:编辑格式与通过率是两回事。 榜单单列了 correct edit format 一列,而它与通过率的排序明显不同——gemini-2.5-pro-preview-06-05 的编辑格式正确率是 99.6%(某些档位甚至 100%),通过率却只有 79.1%–83.1%;o3-pro 是 97.8% 对 84.9%;而 GPT-5 只有 91.6% 却拿到 88.0% 的通过率。“格式完美”与”改对了”是两种能力,只报其中一个都会误判。这和后来「部分分 vs 全完成率」那一族读数是同一个形状,只是 Aider 在 2024 年底就把这两列分开了。

四、成本跨度是这张榜最夸张的一列。 $146.32(o3-pro high)到 $0.88(DeepSeek-V3.2-Exp Chat)相差 166 倍,而对应的通过率是 84.9% 对 70.2%——贵 166 倍只多 14.7pp。前八里唯一的低价条目 DeepSeek-V3.2-Exp (Reasoner) 用 $1.30 拿到 74.2%,比 $65.75 的 Claude Opus 4(72.0%)还高。

关联基准与展望

关联:Copilot Arena、SWE-bench。不足:绑定 Aider 框架(aider CLI 的 diff 格式、编辑格式与系统提示本身就是被测变量的一部分);题集自 2024-12 起未扩容;官方榜停更后无独立复现 lane 接手。

代码编辑 多语言 重构 Aider Exercism 已停更