AI还当不了自主科学家，CUSP评测揭示大模型缺乏前瞻科研视野
· ME 快讯
ME AI 消息，据 动察 Beating 监测，斯坦福大学、牛津大学与艾伦人工智能研究所联合推出评估 AI 科学进展预测能力的时序基准 CUSP。评测系统性测试了 GPT-5.4、Claude Sonnet 4.5 和 DeepSeek R1 等前沿大模型。结果显示，大模型在理解既有技术路径等机制推理上表现优异。但在预测新发现能否真正实现时，准确率接近随机猜测。此外，大模型对科学进展突破时间的预测也表现出系统性滞后。 传统的 AI 评估极易出现信息泄露。模型可能只是背诵了训练数据中已经发表的科学成果。为测出真实的预测能力，CUSP 引入了时序知识截止限制。研究团队整理了来自 Nature 和 Science 等期刊的多学科前沿进展。这套基准包含 4,760 个科学里程碑，衍生出 17,429 个具体评估任务。测试通过截止条件限制模型可用信息，并设置 pre-cutoff 联网搜索等对照实验，以区分知识缺口与预测缺口。 评测结果表明，大模型在没有标准答案的科学探索中无法提供可靠指引。至少在科学进展预测上，现有模型还不能提供可靠的前瞻判断。在机制推理任务中，模型表现出色。例如从选项中识别合理研究方向时，GPT-5.4 取得了 81.9% 的准确率。但面对可行性判定，即判断断言能否实现时，各模型精度仅在 45% 到 52% 之间。对于突破时间的预测，大模型普遍高估。GPT-5.4 预测滞后 14 个月，Claude S4.5 滞后 17 个月，GPT-4o 则滞后达 26 个月。在此类任务中，LLaMA 3.3 在时间误差上较小，为 +4 个月。在生成式解决方案设计中，即使 GPT-5.4 获得了 5.04/10 的最高分，生成的技术路线也无法与真实的科学路径对齐。这说明模型能写出像样方案，但很难命中后来真正发生的具体技术路径。对于高影响力的开创性突破，科学预测缺口更加显著。 （来源：BlockBeats）