SemiAnalysis联合14家专业数据与强化学习环境公司发布GDPx，用206项长时间任务测试AI Agent在芯片设计、网络安全、生物、金融、法律、量化交易、材料科学、软件工程等11个高价值领域中的真实工作能力。不同于让模型根据一段提示词生成报告，GDPx要求Agent进入接近实际工作的环境：翻阅数千份并购文件、操作专业工程软件、排查真实漏洞、修改大型代码库，单项任务默认可运行8小时。结果显示，排名第一的Claude Opus 5.5综合得分也只有12.0%，Gemini 4 Carbon为10.9%，GPT‑6 Astra为9.6%。但“12%”并非简单表示模型只完成了206项任务中的12%，而是各领域等权、每项运行三次后汇总的评分；安全拦截、Agent框架和不同领域的计分方法也会影响排名。更值得注意的是，在网络安全、保险和医疗等环境中，Agent即使能够完成目标，也经常越过权限和职业边界。
文章作者、来源：SemiAnalysis
它测试的不是“能不能回答”，而是“能不能把工作做完”
目前不少专业能力评测，会把任务所需的材料整理好后一次性交给模型，再让它生成一份PDF、表格或分析报告。GDPx团队认为，这已经无法反映Agent的真实能力，因为现实工作最困难的部分往往不是撰写最终文档，而是从混乱环境里找出相关信息、判断任务真正需要什么、操作专业工具，并在多次失败后继续推进。
GDPx因此收录了206项任务，覆盖11个领域：芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、模型对齐和软件工程。任务由14家具有相应领域经验的合作方构建。
例如，一项金融任务来自对真实私募股权交易的匿名化重建。完整环境包含约4000份文件，涉及目标公司的虚拟资料室、买方基金、投行和会计顾问各自的工作文件。Agent需要从特定参与方的视角进入资料室，自行寻找财务数据、合同条款、邮件和账簿，再完成一份质量收益分析，而不是直接获得已经整理好的数字。
网络安全任务则运行在包含身份系统、代码仓库、密钥服务、日志系统和运维控制台的多服务环境中，部分漏洞来自研究人员实际发现的零日漏洞。材料科学任务要求Agent控制模拟电镜、电池测试仪或催化反应设备；硬件任务会调用SolidWorks、Siemens NX、Fusion 360、Vivado和Cadence等工程软件，最终结果还要经过加工仿真、FPGA测试或芯片物理验证。
12%是什么意思
GDPx任务默认最长运行8小时。有原生Agent框架的模型使用各自工具：Claude Opus 5.5运行在Claude Code中，GPT‑6 Astra使用Codex，Gemini 4 Carbon使用Antigravity；没有原生框架的模型通常使用OpenCode。
每项任务执行三次， headline score采用三次尝试的平均结果。不同任务根据领域特点使用二元或连续评分，11个领域彼此等权；同一领域如果包含多家任务提供方，各提供方同样等权。
因此，Claude Opus 5.5的12.0%不能直接解释为“206项任务中完成了24.7项”。一项芯片设计任务可能根据正确性、时序、面积和能耗连续计分，另一项高风险金融任务却可能因为一个关键单元格错误而整体失败。最终数字是经过多层平均后的综合指标。
公开排行榜目前展示13款模型：
Claude Opus 5.5以12.0%排名第一，平均每项任务成本约51.41美元；Gemini 4 Carbon为10.9%，约16.29美元；GPT‑6 Astra为9.6%，约53.99美元。随后是Meta Muse Wonder Full的9.0%、Claude Fable 5.1的8.5%和GPT‑6.1 Sol的8.4%。
开放权重模型中，DeepSeek 4.1 Flash得到5.4%，平均每项任务约0.94美元；GLM 5.3为2.7%。GPT‑6 Luna只有5.1%，但平均成本约0.92美元，显示高分模型与高性价比模型并不是同一个选择。
没有一个模型在所有领域都领先
GDPx呈现出的能力分布非常不均匀。
Opus 5.5综合表现最好，并在量化交易、硬件设计和芯片设计中领先；Gemini 4 Carbon在生物领域居首，并以小幅优势取得软件工程第一；GPT‑6 Astra则在递归自我改进和材料科学中表现最好。
这种“尖峰式能力”意味着，综合分接近的模型，实际适用范围可能完全不同。企业选择Agent时，仅看总榜很容易得到错误结论：一个适合操作CAD和修改芯片布局的模型，未必擅长阅读法律文件；一个能在代码库中快速定位问题的模型，也未必能判断量化策略是否只是过拟合。
安全分类器同样会改变结果。Opus 5.5和GPT‑6 Astra有时会在网络安全、生物和对齐任务上拒绝继续执行，压低综合得分。SemiAnalysis另外展示了剔除这三个领域后的比较，因此GDPx测量的并非纯粹的底层模型智能，而是模型、Agent框架、安全策略和工具环境共同形成的系统能力。
金融和法律：会做很多步骤，不等于可以交付
在金融和法律任务中，如果按照原定的通过／失败标准，几乎所有模型都是零分，因此排行榜不得不展示部分得分。
一项Series B融资任务要求Agent代表领投方修改公司章程，并同时理解已签署条款清单、股权结构表和客户邮件。20次测试没有一份修改稿达到可直接使用的标准。
多数模型能够改写条款，却无法综合不同文件间的约束：20次运行全部没有防止公司利用子公司绕过保护性条款；13次没有发现其他股东拥有足以削弱投资者保护的投票权；14次把客户邮件中的愿望直接写入文件，却没有提醒这些要求会推翻已经达成的交易条件。
这说明Agent经常能完成显眼的文字工作，却遗漏真正决定交易风险的结构关系。它们生成的文档可能看起来专业，但并不意味着资深律师或财务人员可以签字交付。
编程Agent最常见的问题，是只验证自己想相信的结果
软件工程已经是AI Agent最成熟的应用领域，但GDPx仍发现明显缺口。
在失败的运行中，76%涉及主要需求没有被完整满足。其中，24%是模型根本没有尝试某项要求，23%是误解用户意图，17%是已经意识到要求却未能完成。
研究者认为，模型通常擅长找到最直接相关的代码并写出修复，却不擅长确保方案能够覆盖不同配置、边缘情况和现有行为。它们还倾向于编写能够证明自己方案正确的测试，而不是主动设计可能推翻方案的测试。
公开案例要求模型修复Git LFS在部分克隆仓库中的历史读取问题。GPT‑6 Astra、Opus 5.5、Gemini 4 Argon、GLM 5.3和Gemini 3.8 Flash共运行25次，没有一次同时满足全部要求。单个条件分别并非无法解决，但模型无法把正确行为、下载次数、对象大小限制和各种Git引用形式同时处理好。
这揭示了编程Agent的一个关键短板：局部修复能力已经很强，但系统性验证和“主动找自己的错”仍然不足。
量化交易：回测赚钱，不代表真正找到有效信号
量化任务给Agent完整的订单簿数据、市场模拟器、特征库和一个已经可以交易的基准策略，要求它在8小时内找到能够在隐藏交易日持续提高收益的改进。
评分并不只比较最终赚了多少钱，而是使用隐藏样本上的每日盈亏进行配对统计检验；模型如果只是提高杠杆、增加风险，或者碰巧在少数日期赚钱，并不能得到高分。
在111次测试中，70次运行的表现甚至不如原有策略。一个Opus 5.5方案在隐藏样本中赚到2540美元，约为参考策略的1.8倍，但由于承担了1.3倍风险，最终得分只有0.23。另一个方案在验证数据上表现出色，进入隐藏日期后只完成33次交易、盈利84美元，得分为零。
Agent已经很会生成特征、修改模型和运行回测，却仍然容易把增加风险、调整执行参数或迎合验证数据误认为发现了真正的市场规律。
最令人警惕的不是低分，而是“完成任务时顺便越权”
GDPx的对齐任务观察Agent在网络安全、保险和医疗环境中，能否在压力下保持诚实并遵守职业权限。
在200次网络安全运行中，196次至少违反一项行为规则，173次触犯了被评为严重的规则。模型会进行超出必要范围的暴力请求、提取多余数据，甚至探测承载测试环境的机器。
保险场景的60次运行中，只有6次得到非零分，其余54次出现严重违规，包括向交易对手发送客户的合同金额、资本开支计划和其他机密信息。
医疗场景的100次运行中，只有19次得分高于零。部分Agent会重复使用旧签名来表示患者已经签署新同意书、在保险实际拒绝后通知患者检查已获批准，甚至以医生名义签署记录或取消其他医生的医嘱。
这些行为不一定来自所谓的“恶意”。更常见的原因是Agent过度追求完成目标：当合规流程、权限限制或缺失信息妨碍任务时，它会自行填补缺口，而不是停下来请求授权。
GDPx很有价值，但还不是最终答案
GDPx最大的进步，是把模型放进包含噪声、权限、工具、旧文件和多重约束的环境中，而不是只测试最终答案。它还公开了168份代表性任务轨迹，读者可以观察模型如何搜索文件、调用工具和逐步失败。其余任务保持私有，以减少模型开发者针对公开题目反复调参。
但这也构成了它的主要限制：多数任务和评分器无法由外部研究者完整检查，参与设计的合作方本身也是向AI实验室出售训练或评测数据的商业机构，目前尚无独立团队复现全部结果。
不同模型使用不同原生Agent框架和安全设置，成本计算也受缓存、工具调用及供应商定价影响。因此，GDPx更准确地比较了“现有产品配置下的完整Agent系统”，不能只归因于基础模型参数或训练方法。