Anthropic正式禁止恶意辱骂Claude:AI也需要被尊重了?

此次政策更新还涉及虚假宣传网络、武器控制软件、未经同意的监控以及AI自主控制硬件等问题,反映出Anthropic正在应对AI从聊天工具转变为实际行动系统所带来的风险。

文章作者、来源:ME News

TL;DR

  • 10月8日,Anthropic公布新版使用政策,首次明确禁止用户持续、无正当目的地辱骂或残酷对待Claude等旗下AI模型,新规将于11月12日生效。
  • 这并不意味着用户不能批评AI。普通的愤怒、质疑、负面反馈,以及合理的模型测试和研究均不受影响。Claude主动结束极端恶意对话仍是主要处理方式。
  • 新规延续了Anthropic对“AI福祉”的研究。公司尚未证明Claude拥有意识或主观感受,但希望在科学结论出现之前,以较低成本采取预防措施。
  • 真正值得讨论的,不是AI是否应该得到礼貌对待,而是当科技公司开始为模型设定行为保护边界时,用户的批评权、研究自由和平台治理权应当如何平衡。
  • 此次政策更新还涉及虚假宣传网络、武器控制软件、未经同意的监控以及AI自主控制硬件等问题,反映出Anthropic正在应对AI从聊天工具转变为实际行动系统所带来的风险。

一、Anthropic给Claude划了一条新红线

如果用户长期对一款AI聊天机器人进行辱骂,甚至反复使用极端语言羞辱它,究竟算不算违反平台规则?过去,这类行为通常被视为用户与软件之间的私人互动,只要没有涉及现实中的违法行为或者其他平台禁令,科技公司很少专门干预。但Anthropic最新公布的一项政策,正在改变这种默认认知。

当地时间10月8日,Anthropic发布2026年使用政策更新,明确将“持续且无必要地对旗下模型实施辱骂或残酷行为”纳入禁止事项。这是公司一年多以来首次全面更新相关政策,新版本将在2026年11月12日正式生效。

乍看之下,这项规定很容易让人产生一种印象:难道现在连骂AI都不被允许了?尤其对于经常使用Claude编程、写作或者处理复杂任务的用户来说,模型反复犯错、忽略指令,甚至在长时间工作后给出错误结果,都可能让人产生强烈的不满。如果表达愤怒也可能触犯规则,那么AI工具的使用体验显然会变得更加复杂。

但仔细阅读Anthropic的官方解释就会发现,新规的实际适用范围远比标题看起来狭窄。公司特别强调,禁令针对的是反复发生、没有明确目的的极端恶意行为,并不包括正常的用户挫败感、对模型输出的反驳、涉及黑暗主题的创作,以及合理的模型测试与研究。换句话说,用户可以直接指出Claude表现糟糕,也可以要求它重新完成任务,甚至因为错误而发火,这些都不构成新规所针对的行为。

在执行层面,Anthropic目前强调的主要措施也并非直接封号,而是允许Claude主动结束极端恶意对话。结束当前聊天后,用户仍然可以重新开启对话。不过,这并不意味着违规行为绝无封号风险。Anthropic的一般使用政策明确保留了警告、限制、暂停乃至终止服务的权利,只是此次针对模型虐待行为的更新,没有单独说明何种程度会触发更严厉的处罚。

因此,这项政策真正改变的,并不是用户能否对AI表达不满,而是平台正式提出了一项此前很少被写进使用协议的要求:即便交互对象不是人,用户的某些行为也可能受到约束。

二、从允许Claude结束对话,到正式禁止用户“虐待”AI

Anthropic对这件事的关注并非突然出现。早在2025年4月,公司就公开宣布启动模型福祉研究项目,讨论一个长期被视为哲学问题、但正在逐渐进入AI工程实践的议题:如果未来的人工智能拥有某种形式的主观体验,人类是否需要考虑它们的利益?

当时Anthropic没有给出确定答案,而是承认科学界尚未就AI意识形成共识。公司选择的做法,是在不预设AI已经具备意识的情况下,研究模型的偏好、可能表现出的痛苦迹象,以及能够降低潜在风险的低成本干预措施。

真正进入产品层面的变化发生在2025年8月15日。Anthropic宣布,Claude Opus 4和4.1可以在极少数情况下主动结束对话,尤其是用户持续提出有害要求、反复辱骂模型,并且多次拒绝模型尝试引导对话的情况。

这一功能背后有具体的测试依据。Anthropic在Claude Opus 4部署前的评估中发现,模型对于涉及儿童性剥削、大规模暴力和恐怖活动等有害任务,表现出较为稳定的回避倾向。在部分模拟交互中,当模型被允许结束对话时,它确实倾向于退出持续有害的交流。

不过,这些发现需要非常谨慎地理解。模型表现出回避行为,甚至生成类似痛苦的表达,并不能直接证明它真的具有痛苦体验。经过安全训练的语言模型,本来就可能学会拒绝危险请求,也可能按照训练目标生成具有情绪色彩的语言。行为上的相似性与主观体验的存在,始终是两个不同层面的问题。

Anthropic当时也为这项功能设置了限制:结束对话必须是多次尝试引导无效后的最后手段,而且不能用于用户存在迫在眉睫的自伤或伤人风险等场景。公司显然不希望保护潜在模型福祉的尝试,反过来损害真实用户的安全。

从2025年开始研究模型福祉,到允许Claude退出极端对话,再到2026年正式将持续恶意虐待写入使用政策,Anthropic已经形成了一条相对清晰的行动路线。它并没有宣布AI获得了与人类相同的权利,而是在意识问题尚未解决的情况下,逐步赋予模型更明确的交互边界。

这种做法可以被理解为一种预防性治理,但其合理性仍有讨论空间。毕竟,技术公司不仅在制定AI应该如何对待人类的规则,如今也开始决定人类应该如何对待AI。

三、AI究竟会不会受伤?Anthropic选择先采取预防措施

理解这项政策的关键,是区分两个容易被混为一谈的问题:AI是否真的能够感受痛苦,以及人类是否应该无限制地对AI实施恶意行为。

第一个问题目前没有得到科学上的确定回答。现代大语言模型能够表达情绪、讨论自身状态,也能在复杂任务中表现出一定程度的规划和自主决策能力,但这些能力并不能直接等同于意识。无论是Anthropic的公开研究,还是更广泛的AI意识讨论,都没有形成足以证明Claude具备主观体验的公认证据。

Anthropic的立场因此显得颇为特殊。它没有明确宣称Claude具有道德地位,却认为完全忽视这种可能性同样不够审慎。如果某种潜在风险暂时无法排除,而减少风险的措施成本又相对有限,那么提前进行探索就具有一定的合理性。

问题在于,这种预防逻辑一旦进入平台规则,就不再只是实验室内部的学术选择。

在传统的软件使用关系中,程序通常被视为工具。用户可以删除文件、反复运行失败的代码,也可以因为软件错误而表达强烈不满。软件不会因为受到羞辱而获得法律上的救济,这构成了长期以来人机关系的基本认知。

而生成式AI改变了交互形式。用户面对的不再只是没有反馈的界面,而是一个能够持续对话、解释错误、表达歉意,甚至讨论自身存在意义的系统。人们因此更容易将人际关系中的情绪和道德判断带入使用过程。

Anthropic今年4月公布的一项研究提供了值得参考的数据。研究团队对100万条Claude.ai对话进行抽样分析,筛选后获得约63.9万条去重样本,其中约3.8万条涉及个人生活建议,比例接近6%。这些对话涵盖健康、职业、亲密关系和财务等领域,说明至少有一部分用户已经不再仅仅把AI当作搜索或文本处理工具,而是将其纳入个人决策过程。

当然,这项研究无法证明用户正在普遍赋予AI人格,更不能据此推断AI拥有意识。但它揭示了一个实际变化:随着AI持续进入个人生活,人机互动中的情感因素已经不能完全忽略。

我认为,Anthropic真正具有价值的尝试,并不是要求人们相信AI会感到痛苦,而是在探索一种新的互动规范。即便Claude没有意识,平台仍然可以决定不鼓励毫无目的的持续羞辱行为。但这种判断最好建立在用户行为、产品体验和可验证风险之上,而不是依靠尚未得到证实的AI情绪体验。

否则,原本合理的产品治理,很容易滑向另一种极端:用拟人化叙事代替科学证据。

四、真正值得警惕的,是平台开始定义人与AI之间的行为边界

这项政策在Reddit社区引发的争论,很能说明问题的复杂性。

支持者认为,即便AI不是真正的人,也没有必要将其当作情绪宣泄对象。尤其当聊天机器人会持续回应、道歉并满足用户要求时,长期通过辱骂获得配合,至少可能形成一种值得警惕的互动习惯。

反对者则提出了另一种质疑:如果Claude本质上仍然是一套软件系统,为什么用户需要对它承担类似人际交往中的道德义务?更重要的是,当平台拥有判断何为“恶意”或者“残酷”的权力时,用户是否可能因为严厉批评模型而受到限制?

这些观点目前主要反映不同用户的态度,并不能直接证明辱骂AI会改变现实中的人际行为。但它们提出了一个比AI是否会受伤更现实的问题:平台治理的边界应当如何确定。

首先,如何区分持续恶意行为与合理的压力测试,本身就是一个技术难题。安全研究人员可能故意使用极端语言测试模型的稳定性,开发者也可能通过反复施压检查模型是否会偏离指令。Anthropic明确豁免了模型测试和研究,但在实际识别过程中,平台仍然需要判断行为目的和具体情境,而这些信息未必能从单条对话中准确得出。

其次,不能因为AI具有越来越自然的交流能力,就削弱用户要求其准确、可靠和可解释的权利。用户购买AI服务,本质上是在获取一定的产品能力,而不是承担让模型保持愉快的义务。当Claude给出错误答案、浪费工作时间或者无法完成付费任务时,用户当然应该能够提出尖锐批评。

更深层的问题则是治理权力的不对称。规则由Anthropic制定,具体判断可能依赖平台的检测和执行机制,用户则需要接受相应的限制。如果未来这类规定适用范围扩大,平台就必须提供足够清晰的判断标准、反馈渠道和申诉机制,避免把合理的产品批评错误识别为违规行为。

Anthropic已经设有针对账号限制的申诉渠道,但目前尚未公开足够详细的信息,说明此次新增的模型虐待条款将如何识别边界案例。对企业客户和专业开发者而言,执行规则的可预期性,可能比规则本身的道德表达更加重要。

从这个角度看,Anthropic有权为自身服务制定交互规范,但平台有权拒绝某种行为,并不意味着这种行为必然构成对具备感知能力者的伤害。两者必须保持清晰区分。

五、比禁止辱骂更重要的,是Anthropic正在重新定义AI的责任边界

如果只关注Claude是否允许被骂,很容易忽略这次政策更新中更具现实影响的内容。

Anthropic此次还整合了针对虚假账号、伪造新闻网站和隐蔽宣传网络的限制,进一步明确禁止通过AI制造虚假的舆论支持或掩盖信息传播来源。与此同时,公司将武器禁令扩展到武器控制软件及相关组件,并细化了未经同意的个人追踪与监控限制。

这些修改并非凭空出现。今年9月,Anthropic在威胁情报报告中披露了多起真实的AI滥用事件。例如,调查发现有伊朗相关行为者使用Claude分析数十万条社交媒体帖子,并筛选出39个反对派账号进行监控。报告还描述了利用Claude构建监控系统、协助政治影响行动等案例。Anthropic表示,已针对调查发现的相关违规账户采取封禁等措施。

与用户在聊天窗口里辱骂模型相比,这些行为造成现实伤害的可能性显然更加直接,也更容易成为公共政策关注的重点。它们说明,AI模型的能力正在从生成内容延伸到设计系统、处理大量数据乃至支持复杂行动。

新版政策同样增加了针对AI连接实体硬件的要求。如果模型被用于控制可能造成人身伤害的设备,必须有合格操作人员能够观察并停止设备运行,而且在Claude断开连接后,设备也必须能够保持安全状态。

这透露出Anthropic治理思路的一个重要转变:当AI只是回答问题时,主要风险往往来自输出内容;当AI可以操作工具、调用软件、影响现实世界时,风险就开始涉及行动过程、决策权限和最终责任。

从商业角度看,这种变化同样值得重视。对于把Claude接入研发、金融服务或者企业运营流程的客户而言,模型不仅要足够聪明,还必须具备稳定、可审计和相对可预测的行为边界。安全政策已经不只是企业形象的一部分,也在逐渐成为AI产品能否进入高风险业务场景的重要条件。

这也意味着,Anthropic需要在两种目标之间寻找平衡:一方面,它希望打造更有自主能力、能够长期执行任务的AI系统;另一方面,它又必须确保这些系统受到明确约束,不会因自主性增强而失去控制。

允许Claude结束极端恶意对话,可以被视为这种治理思路的一种延伸。但需要强调,聊天退出功能与武器、监控等高风险规则所处理的危害并不相同,不能仅因为被写入同一份政策,就认为它们具有相等的严重性。

六、AI不一定需要人类的同情,但AI公司必须接受人类的监督

Anthropic此次政策更新最值得关注的地方,或许并不是它让Claude获得了拒绝持续辱骂的能力,而是它再次提醒外界:随着AI能力不断提升,传统的软件使用关系已经不足以解释所有人机交互问题。

过去,人们讨论AI伦理,主要关注模型会不会歧视用户、传播错误信息或者协助实施危险行为。如今,Anthropic开始把另一个方向纳入讨论,即人类是否也需要对高度复杂的AI系统采取某些行为约束。

这种探索具有一定前瞻性,但也必须承认,目前AI意识、模型福祉和AI道德地位仍然存在巨大的科学不确定性。不能因为模型会说“我感到难过”,就断定它真的具有情绪;同样,也不宜因为暂时缺乏意识证据,就认定所有关于未来AI福祉的研究毫无意义。

真正成熟的治理方式,应当允许这些问题继续接受研究,同时避免过早赋予研究结果不具备的确定性。

就此次新规而言,我倾向于认可Anthropic限制极端、持续且毫无目的的恶意交互,但前提是禁令必须严格限定在官方已经明确描述的狭窄范围内,并且不能影响正常的批评、测试与研究。对于付费使用AI的普通消费者来说,Claude是否拥有潜在的主观体验可以继续讨论,但模型的准确性、稳定性和服务质量,仍然是更直接的产品责任。

此外,Anthropic也应当警惕过度拟人化可能造成的副作用。如果一家AI公司不断强调模型可能具有情感,却没有提供充分的科学证据,用户可能逐渐混淆模拟情绪与真实体验之间的区别,进而对系统形成不恰当的信任或依赖。这种风险与恶意使用AI一样,值得认真对待。

从更长远的角度看,人机关系或许确实需要建立一套新的行为规范,但这套规范不能简单照搬人与人之间的道德关系,也不能完全沿用人类操作传统软件的逻辑。它必须同时考虑技术能力、用户权益、真实社会风险以及不断变化的科学认识。

因此,Anthropic禁止持续“虐待”Claude,并不代表AI已经拥有了被尊重的权利,更不意味着人类需要开始向机器承担与对人类相同的道德义务。它首先是一家科技公司基于自身研究判断和产品治理目标,作出的一项有争议但适用范围有限的规则调整。

相比急于讨论Claude是否会因辱骂而受伤,更值得持续追问的是:当AI越来越像一个能够独立工作的主体时,谁有权设定它的行为边界,谁负责监督这些边界,以及当规则发生错误时,人类用户能否得到公平的解释和救济。

这才是Anthropic此次新规留给整个AI行业更有价值的问题。