会写代码的超级模型，为什么连 1998 年的游戏都玩不明白？
文章作者、来源：ME 精选
一项名为 Brood War Bench 的新基准测试在开发者社区引发讨论。开发者 Ben Swerdlow 让 19 种 AI agent 配置在暴雪 1998 年发行的即时战略游戏《星际争霸：母巢之战》中进行循环赛，累计完成 171 场对局，测试结果于 9 月 19 日发布，随后登上 Hacker News 热榜。开发者 Peter Steinberger 在 X 上转发该测试，帖子浏览量超过 6.6 万。
图源：X
测试结果
从排行榜看，模型之间的差距相当明显。
Codex Astra 在 xhigh 推理强度下拿下 18 战全胜，胜率 100%，是本次测试唯一的全胜配置。同一模型在中等推理强度下胜率为 88.9%，Claude Fable 以 83.3% 位列第三，Codex 5.6 Sol 中等强度为 72.2%，Claude Opus 5 为 66.7%。另一端，Grok 4.6 即便开到 xhigh 强度，胜率也只有 11.1%，Claude Haiku 则一场未赢。
Swerdlow 在报告中把对局风格也做了记录。Codex 系列擅长骚扰战术，会派出单个单位持续干扰对手，但在成规模造兵这件事上表现薄弱；Claude Fable 的战略野心最强，会尝试沿科技树往上走，而不是停在基础兵种；Grok 则花费大量时间推理，真正发出的有效指令却很少。
实际测试的能力
这项测试的设计思路与以往的游戏类 AI 评测有明显区别。Swerdlow 没有让模型通过截图识别画面，而是基于 BWAPI 提供了一组最小化的指令与观测接口，模型通过接口读取战场状态并下达命令。这样做的目的是在有限规模下保证各模型起点一致。
关键变量在于时钟。即时战略游戏的时间不会为思考停下来，模型每多想一秒，对手的兵线就多推进一秒。Swerdlow 发现，上一代模型倾向于把即时战略当成回合制游戏来打，常常在还没想完的时候就已经被推平；新一代模型也会掉进同一个坑，但对思考成本的感知明显更强。这也解释了排行榜上一个反直觉的现象：更高的推理强度并不必然带来更好的成绩，部分低强度配置反而打得更稳。从成本上看，单场对局的开销从 0.16 美元到 21.07 美元不等，全部对局在 Freestyle 虚拟机上并行运行。
不过 Swerdlow 在报告中给出的判断很直接：没有一个模型的表现超过初学者水平，一个掌握基本战术的人类玩家可以击败全部参赛配置。这一结论与 DeepMind 的 AlphaStar 形成对照。AlphaStar 在 2019 年就已达到《星际争霸 II》职业级水平，但它是为这一款游戏专门训练的系统；Brood War Bench 测的则是通用模型在没有专项训练的情况下，能否把推理能力迁移到实时决策场景。Hacker News 上的讨论也集中在这一点，有人质疑单一时间切片的设计是否算真正的实时对抗，也有人认为这类测试恰恰补上了现有评测体系的空白。
对行业而言，Brood War Bench 提供了一个新的衡量维度：不是比谁想得更周密，而是比谁能在时间压力下把思考及时转化成动作。随着 agent 被越来越多地放进需要连续响应的真实场景，这个维度的重要性只会上升。Swerdlow 表示，他希望把这个测试扩展成常态化的锦标赛形式。