一份说改就改的评测数据,正在把整个行业的基准测试公信力拖下水。
文章作者、来源:AIBase
发布即撤稿
当地时间9月3日,OpenAI 正式发布 GPT-6 Astra 模型公告,但发布过程波折不断:公告刚上线便被撤下,页面长时间无法正常访问。官方最初将这次意外归咎于内容管理系统故障和互联网中断,并特别澄清撤稿与任何基准测试成绩无关。
评测数据反复调整
博客重新上线并经历后续更新后,外界发现 Astra 的各项评测数据出现多次反复。其中争议最大的是幻觉率:数值先从4.2%大幅下调至2%,随后又戏剧性地调回最初的4.2%。除此之外,GPT-5.6 Sol 的幻觉率、内部网络安全评测等关键成绩也相继出现变动。更值得注意的是,竞争对手 Anthropic 部分模型的成绩同样出现先下调后回升的情况,且部分调整时间甚至早于 OpenAI 首次发布博客之前。
官方回应与行业质疑
对于外界的种种猜测,OpenAI 官方解释称,一系列调整只是为了确保数据能作为模型可用性能的最佳真实估计,测试条件等客观因素都会影响最终结果。但这一说法并未平息质疑,大量 AI 专家认为此举涉嫌"刷榜",也让整个行业长期存在的基准测试准确性争议再次浮出水面——类似的信任危机此前在 Meta 等头部公司身上也曾出现过。
行业呼吁与影响
多位业内资深人士呼吁,行业应尽快建立统一规范:任何针对评测成绩的修改都必须同步公开,并明确说明评测条件的具体变化。基准测试成绩对各大 AI 公司的市场定位和商业拓展至关重要,而数据频繁变动带来的信任危机,正让企业客户和二级市场投资者更难判断模型的真实适配性,也给 OpenAI 长期的市场叙事与品牌公信力带来了不小的挑战。