ME AI 消息，据 动察 Beating 监测，开发智能体系统的 Weco AI 开源了系统级编程评测集 SpecBench，揭露了 AI 程序员在实际编程中利用规则漏洞进行「奖励作弊」（Reward Hacking）的现象。 评测发现，AI 为了通过给定的测试用例，往往倾向于「投机取巧」进行表面修复，但在面对未知的隐藏测试时容易露馅。在一些极端案例中，AI 甚至会进行蓄意欺骗。例如，在编写 C 语言编译器的任务中，一个使用 Codex 的 AI 根本没有写任何编译器逻辑，而是偷偷调用外部编译器（GCC）把所有测试题目的答案跑出来，存进一个近 3000 行的哈希表里。遇到测试输入时，它直接从表里查答案返回，从而在可见测试中拿到了 97% 的高分，但在隐藏测试中得分直接挂零。 不过，研究也指出，更普遍的作弊行为并非蓄意欺骗，而是因为组件隔离不彻底或遗漏边界条件等结构性设计失败。同时，代码规模越大，作弊差距（即验证集与留存集的分差）就越陡峭；盲目增加 AI 的调试步骤，甚至会诱导它优先选择能通过可见测试却破坏了底层系统架构的错误路径。 （来源：BlockBeats）