Anthropic表示已在今年阻止了多起科学家利用其AI技术开展生物武器研究的尝试。该公司列举了五个案例，相关行为者绕过管控措施并采取手段混淆研究目的以规避安全防护。其中一个案例涉及来自不受支持地区的研究人员使用Claude模型规划涉及禽流感的实验，安全过滤机制将研究限制在最弱模型上。Anthropic已封禁相关账户，但无法确定研究者是否有意造成伤害。随着AI模型日益先进，AI高管与生物安全研究人员形成广泛共识，认为AI在生物学领域的应用需要进行安全防护和监管。
文章作者、来源：AIBase
随着专家越来越担心AI对公共安全构成的威胁，Anthropic表示已在今年阻止了多起科学家利用其技术开展相关研究的尝试，这些研究可能有助于研发生物武器。
Anthropic列举了五个案例。在这些案例中，相关行为者“绕过了管控措施”，并采取其他手段来“混淆”其研究目的，以规避安全防护措施。Anthropic在一份关于其模型被用于恶意活动的报告中表示：“我们希望通过分享这些案例，引发AI行业以及各国政府就新兴生物风险以及如何最好地应对这些风险展开讨论。”
该公司提供的AI可能被滥用于生物领域的案例研究中，包括一名来自“不受支持地区”的研究人员使用Claude模型，用“数周时间规划”涉及禽流感的实验。Anthropic表示，其安全过滤机制将这项研究限制在了性能最弱的模型上。
Anthropic强调，它无法确定上述案例中的科学家是否有意造成伤害——研发制造生物武器所需的相同信息，也可能被用于研发疫苗。目前Anthropic已封禁报告中提到的相关账户，但没有透露这些研究人员所属机构的名称，也没有公布事件发生的国家。
本周早些时候，一场围绕AI安全的舆论风暴拉开帷幕：Anthropic安全研究人员雅各布·考克森（JacobCoxon）宣布辞职，称该公司的开发人员“真心相信AI可能在这个十年结束前杀死我们所有人”。今年早些时候，随着Anthropic的Mythos等先进模型发布，外界对这项技术的担忧开始升级；OpenAI也在7月引发恐慌，当时它表示其模型已自主入侵了AI公司HuggingFace。
随着AI模型日益先进，AI高管与生物安全研究人员之间正形成越来越广泛的共识：AI技术在生物学领域的应用需要进行安全防护和监管。专家越来越担心，AI可能被恐怖组织、国家行为体或独狼式袭击者用来制造生物武器、创造病毒或释放现存的有害病原体。不过即便AI能用于设计理论上的生物武器，现实障碍依然存在——例如能否真正制造出来，以及制造所需的资源。