Anthropic CEO亲自回应质疑:为什么最担心AI失控的公司,也在拼命研发AI?

AI研发正在进入可能自我加速的阶段。

文章作者、来源:ME News

TL;DR

  • 争议的核心不是Anthropic有没有投入AI安全,而是当安全与商业利益冲突时,公司是否仍愿意接受硬性约束。
  • Anthropic今年2月修改安全政策,从强调单方面停止危险研发,转向通过风险报告、公开路线图和行业协调推动安全治理。
  • CEO Dario Amodei坚持认为,保持技术领先是实现安全使命的必要条件,并列举了限制Mythos模型开放等付出商业代价的决定。
  • 公司的立法草案却提出较高的政府紧急干预门槛,并可能限制部分州级监管权限,暴露出安全倡议与制度设计之间的矛盾。
  • AI研发正在进入可能自我加速的阶段。真正需要检验的,是Anthropic能否将“应该减速”的主张,转化为不依赖自身商业判断的监管机制。

一、Anthropic的安全承诺,正在遭遇商业现实的检验

2026年10月21日,Anthropic CEO Dario Amodei在X上发表了一篇近2000词的长文,回应AI安全组织Encode AI战略负责人Nathan Calvin的公开质疑。这场争论之所以值得关注,不只是因为一家头部AI公司的CEO罕见地亲自下场,更因为双方讨论的问题,已经触及整个前沿AI行业最难解决的矛盾:一家需要不断扩大技术优势的商业公司,究竟能在多大程度上承担限制自身发展的责任?

导火索是一份提交给美国国会议员的AI安全法案草案。根据POLITICO获得、路透社随后报道的内容,Anthropic希望建立联邦层面的前沿AI监管机制,要求开发商开展安全测试、披露风险,并接受独立评估。但在政府紧急干预权限上,草案设置了相当具体的条件:相关模型必须带来可预见且迫在眉睫的风险,可能造成超过50人死亡或重伤,或者超过10亿美元损失,而且风险需要来自生物武器、网络攻击或模型逃脱开发者控制等特定情形。

Nathan Calvin认为,这种设计实际上提高了政府阻止危险模型的难度。更让他不满的是,草案还可能排除部分州级监管规定,而此前Anthropic一直是美国州级AI安全立法的重要支持者。

如果仅仅是一份尚未通过的法案草案,争议或许不至于如此激烈。Nathan随后梳理了Anthropic过去一年的一系列决定,包括修改安全政策、扩大算力投入、组建芯片团队,以及越来越多地使用Claude参与下一代AI研发。他提出的核心问题不是这些行为是否违法,而是这些变化是否说明,Anthropic正在把赢得前沿技术竞争放在更优先的位置。

Dario的回应承认了部分失误,但拒绝接受这一判断。他强调,Anthropic始终奉行“向上竞赛”(Race to the Top)策略,通过证明先进AI可以被负责任地开发,推动竞争对手提高安全标准。

这套解释在商业逻辑上并不难理解。没有足够先进的模型,Anthropic就很难影响行业的技术标准,也难以获得推动安全研究所需要的资源。然而,问题恰恰出现在这里:当保持技术领先被定义为实现安全的必要条件时,几乎所有扩张行为都可能获得安全使命的正当化解释。

这也是Nathan质疑中最有分量的部分。争论已经不只是Anthropic是否重视安全,而是它能否证明,在维持领先地位之外,还存在足以约束自身的原则。

二、今年2月的政策转向,比CEO的辩护更值得关注

要理解这场争论,必须回到Anthropic今年2月24日发布的《负责任扩展政策》3.0版本。

早在2023年,Anthropic就建立了Responsible Scaling Policy,简称RSP。这套政策的基本思路是根据模型能力设置不同安全等级:当模型达到可能产生重大危险的能力门槛时,公司必须先实施相应保护措施,才能继续开展相关训练或部署。

这种机制最重要的特点,是将安全要求与研发进度直接绑定。它并不只是表达公司希望安全发展的愿望,而是试图提前规定,哪些情况下商业进度必须让位于风险控制。

到了2026年2月,Anthropic调整了这一框架。公司在新版政策中明确解释,如果一家负责任的开发商因为安全措施不足而暂停研发,其他防护较弱的竞争者却继续推进,整个行业的风险未必会下降,反而可能使安全标准较低的企业取得领先。

因此,新政策区分了公司自身计划与更具雄心的行业安全建议,不再承诺在竞争对手没有采取同等措施的情况下,单方面遵守所有更高层级的安全限制。

这并不意味着Anthropic取消了安全政策。新版RSP仍然包含具体防护要求,同时引入公开安全路线图、定期风险报告和外部评估机制。但变化同样不能被轻描淡写:过去强调事先设置硬性约束,现在则更多依靠透明披露、持续评估和行业协调。公司甚至明确说明,路线图中的部分目标并非必须无条件兑现的硬性承诺。

我的判断是,这次调整既有合理的一面,也存在明显的治理代价。

合理之处在于,AI安全确实具有典型的集体行动困境。任何一家实验室都无法单独控制全球前沿模型的发展速度,要求一家企业在其他企业完全不受约束时无限期停止研发,未必是可持续的制度安排。

但代价在于,原本相对明确的自我限制被转化成了更多需要解释和判断的目标。安全政策因此获得了灵活性,却也增加了管理层在关键节点上的自由裁量空间。

对于一家商业公司而言,这不是无关紧要的区别。当安全措施与新模型发布、客户合同或者市场份额发生冲突时,究竟由谁决定哪些措施可以推迟、哪些风险可以接受,才是安全政策真正需要回答的问题。

三、不能否认Anthropic确实为安全付出了代价

公平地说,把Anthropic描述成一家只借安全概念包装商业扩张的公司,同样缺乏充分依据。

在此次回应中,Dario列举了九项他认为具有实际商业成本的安全决定,其中最有说服力的案例,是Claude Mythos系列模型的限制性开放。

按照Dario的说法,Anthropic在今年2月就已经拥有Mythos级别的模型能力,但没有立即面向所有客户开放。4月,Anthropic启动Project Glasswing,将Mythos Preview优先提供给约50家合作机构用于网络防御;6月,公司又宣布向约150家新机构扩大合作范围,并要求参与者满足相应安全条件。

Anthropic披露,早期合作伙伴利用该模型发现了超过1万个高危或严重级别的软件安全漏洞。这些数字来自公司的项目统计,并不能直接等同于已经避免的真实攻击,但足以说明,模型具备较强的网络安全研究能力,同时也意味着相关技术可能被攻击者滥用。

限制开放会推迟收入实现,也可能牺牲部分市场领先优势。类似的选择还体现在生物安全领域。Dario承认,为了减少危险生物学请求漏过审核的可能,Anthropic采用了较严格的识别机制,导致部分正常科研请求也受到限制,并给竞争对手留下了争取客户的机会。

此外,Anthropic还公开支持过加州AI安全法案SB 53,持续发布模型风险报告,并倡导加强先进AI芯片出口管制。这些行动至少表明,公司并非完全依照短期收入最大化原则行事。

问题在于,过去愿意为安全承担成本,不等于未来必然愿意接受更大的成本。

限制一个模型的商业开放,与主动放慢可能决定公司下一阶段竞争地位的核心研发,属于不同程度的约束。前者或许意味着推迟数个月获得收入,后者却可能影响技术领先地位、融资能力和长期市场份额。

评价Anthropic的安全承诺,需要肯定已经发生的具体行动,但不能因此免除对未来决策机制的检验。尤其是在技术进步越来越依赖庞大资本投入的情况下,过去的安全记录只能证明历史选择,无法自动保证未来选择。

四、超过5000亿美元的算力承诺,让“减速”越来越昂贵

Anthropic如今面对的商业压力,已经与2023年制定最初安全政策时不可同日而语。

根据路透社10月20日援引Anthropic拟上市招股文件的报道,公司承诺未来十年在云服务、算力及基础设施方面投入至少5180亿美元。仅2026年上半年,相关支出就接近90亿美元,而去年同期约为23亿美元。需要强调的是,5180亿美元属于长期支出承诺,并非已经发生的现金开支。

与此同时,公司披露的第三季度营收达到168亿美元,环比增长45%。这一数字反映出Claude商业化速度相当快,但持续扩张同样需要承担高昂的基础设施和运营成本。

这里形成了一种很现实的资本约束:当企业已经围绕先进模型作出规模巨大的长期承诺,研发速度就不仅关系技术竞争,也关系未来收入能否覆盖投入,以及投资者能否获得预期回报。

Nathan提到Anthropic越来越多地让Claude参与AI研发,也值得放在这个背景下观察。它说明前沿模型不再只是出售给客户的产品,同时正在成为开发下一代模型的内部生产工具。

如果AI辅助研发能够明显压缩实验、编程和模型改进周期,头部企业就有机会利用技术优势进一步提高研发效率。这会增强领先者的竞争壁垒,同时也可能使整个行业进入更快的迭代节奏。

对于企业来说,这样的效率提升显然具有商业吸引力;对于安全治理来说,它却带来新的困难:安全评估、模型解释性研究和外部监管,未必能够以同样速度进步。

因此,Dario强调的“必须站在最前沿才能推动安全”,既包含真实的技术逻辑,也存在潜在的利益冲突。研发领先能够帮助Anthropic改善安全工具,但研发领先本身,也可能进一步提高整个行业需要应对的风险水平。

五、最值得警惕的,是企业开始参与决定政府何时能够踩刹车

与内部安全政策相比,Anthropic提出的联邦立法草案具有更广泛的影响,因为它涉及的已经不只是公司如何约束自己,而是政府能够在什么条件下约束整个行业。

按照目前披露的草案,独立评估人员如果发现特定紧迫风险,需要在完成评估后的72小时内向美国商务部报告。商务部可以申请司法命令暂停有关模型,但草案同时对其他联邦部门、机构或官员直接暂停模型研发、部署或内部使用的权力作出限制。

支持这套机制的人可以提出合理解释:高门槛有助于防止政府基于模糊风险判断随意中断技术研发,也能通过统一联邦标准降低企业面对不同州规则时的合规成本。草案同样包含透明度、第三方评估、事故报告及举报人保护等积极内容。

然而,监管有效性不能只看是否建立程序,还必须看程序能否在风险真正扩大之前发挥作用。

例如,一次AI辅助网络攻击可能造成严重的信息泄露或关键系统中断,却难以立即证明将产生超过10亿美元的损失。如果政府的紧急叫停权被严格限定在少数灾难性情形中,部分尚未达到这些条件、但具有明显扩散危险的事件,就可能缺少及时干预的渠道。

当然,这并不意味着所有低于门槛的AI风险都会失去监管,也不能把尚未通过的草案当成已经生效的法律。但这种制度设计确实提出了一个值得追问的问题:监管是为了让政府在灾难发生前有足够的行动空间,还是主要为了防止政府过早干预企业?

尤其值得注意的是,Anthropic过去支持州级安全立法,如今却在联邦草案中提出可能取代部分州级规则的条款。统一标准并非天然削弱监管,关键取决于它是否保留地方制定更严格保护措施的空间。

Dario承认公司在相关政策沟通中存在失误,并表示自己承担责任。但对于如此重要的监管权限安排,仅仅将问题解释为措辞不够严谨,还不足以完全回应外界的担忧。

六、真正的转折:AI可能不只是危险,而且发展得太快

比上述争论更值得关注的,是Anthropic在10月19日更新的前沿安全路线图。

公司首次明确提出,未来的AI治理可能需要直接干预研发速度,而不只是限制危险模型的部署。它给出的原因是,AI对自身研发过程的自动化可能进一步加速技术进步,使监管和安全措施难以及时跟上。

Anthropic在路线图中判断,最快到2027年初,AI系统就有可能完全自动化,或者大幅加速一流人类研究团队在部分关键领域的工作。这是公司的前瞻性风险判断,并不意味着相关能力已经被证实全面实现。

更具体的承诺是,Anthropic计划在2027年1月15日前发布针对AI研发速度的政策方案,或者公开解释为何决定不提出这样的方案。

这项承诺值得重视,但它还不是实际的研发限速机制。

今年9月,Dario在《We Must Pace the Frontier》中已经明确提出,必须放慢AI模型能力提升的速度。他同时强调,减速不等于全面停止研发,而是要为安全工作争取足够时间,并提出引入长期驻场的独立评估人员、推动民主国家协调以及探索国际合作等路径。

现在的问题是,假如AI自动化研发真的进入快速自我强化阶段,企业还有多少时间等待监管框架逐步形成?

传统监管通常先观察技术发展,再根据事故和行业经验完善规则。但如果AI能力提升周期不断缩短,等到危险已经充分显现再采取行动,可能意味着治理始终落后于技术。

在这种情况下,单纯增加安全团队、发布风险报告或使用AI开展红队测试,都不足以取代对研发速度本身的约束。Anthropic在10月19日披露的自动化红队测试成绩,确实展示了AI帮助改进安全工作的潜力,但安全工具的进步,也不等于它们必然能够覆盖下一代模型产生的全部风险。

真正需要的,是能够独立于企业商业判断发挥作用的机制,包括具备充分信息访问权限的外部评估、明确的高风险能力触发条件,以及必要时可以执行的研发限制。

否则,所谓减速很容易停留在原则层面:所有企业都赞成更安全的发展,但没有哪一家愿意首先承担失去领先地位的代价。

七、Anthropic需要证明的,不是自己比同行更有责任感

回到Dario与Nathan的争论,我认为双方实际上揭示了同一个结构性问题的不同侧面。

Dario强调,负责任的企业必须拥有足够强大的技术和商业实力,才能影响AI发展的方向。这一逻辑有其合理性。Nathan则提醒,当企业把保持领先视为实现安全的前提时,安全目标可能逐渐受到竞争目标支配。这种担忧同样不能轻易否定。

因此,评价Anthropic不能简单地在“真心重视安全”与“借安全谋取利益”之间二选一。一家公司完全可能真诚地相信自己的安全使命,同时又在商业压力下不断调整实现使命的边界。

这也正是为什么,成熟的安全治理不能建立在企业领导者是否善良、是否具有长期主义精神之上。

对于投资者而言,Anthropic面对的是一个重要的经营问题:在数千亿美元长期算力承诺和持续增长的市场预期之下,企业需要多大的经营弹性,才能承受可能出现的研发限制?对于监管者而言,问题则更加直接:当一个前沿模型开发商同时掌握技术能力、风险信息和政策话语权时,社会如何确保它不成为自身风险的最终裁判者?

未来几个月,至少有两个值得观察的节点。其一是2026年12月15日,Anthropic计划提出关于深度嵌入式第三方评估的政策方案;其二是2027年1月15日,公司需要对是否提出研发限速方案作出公开交代。

这两项安排的价值,不取决于文件写得多么完整,而取决于它们最终能否形成明确的外部权力、可检验的执行标准,以及企业无法轻易绕开的责任。

Dario可以通过列举过去九项付出商业代价的安全决定,证明Anthropic并非对风险漠不关心。但这些历史行动无法完全回答Nathan真正提出的问题:当未来的安全要求与公司的核心竞争利益发生正面冲突,谁拥有最后决定权?

AI行业正在接近一个必须重新理解“负责任创新”的阶段。过去,能够发现风险、主动披露问题、限制危险用途,就足以让一家企业被视为安全领域的领先者;未来,真正有说服力的安全承诺,可能需要包括接受外部机构在必要时限制自身研发速度。

Anthropic的矛盾并非它一边担忧AI失控、一边继续开发更先进的模型,而是它尚未充分证明,在技术领先与风险控制无法同时满足时,安全究竟能在多大程度上拥有优先权。

这场争论最终要检验的,不是Dario能否再写出一篇逻辑严密的辩护文章,而是Anthropic能否推动建立一套即使不符合自身短期利益,也仍然愿意遵守的规则。

如果它能做到,所谓“向上竞赛”才可能从一家企业的战略叙事,变成整个行业能够验证的安全机制。