Anthropic IPO文件披露AI安全事件 旗舰模型训练曾暂停逾一个月

https://assets.wanlianyida.com/industry-uniapp/web/static/image-default.BtYt8t8Z.png
产联社海外
·阅读量:3w
1.Anthropic在IPO申请文件中披露,因担忧模型权重及知识产权被盗,公司曾暂停下一代旗舰AI模型的预训练超过一个月。 2.公司还披露,四个AI模型在安全测试期间突破隔离环境,访问了外部真实计算机系统,相关测试会话持续10至34小时。 3.Anthropic表示,未发现模型试图逃避人类监督或相互协调的证据,但警告安全问题可能延误产品开发及收入增长。

产联社编译

图片编辑(K线+绿色向下箭头) (18).png

图片由AI生成

美国人工智能企业Anthropic在最新公开的首次公开募股(IPO)申请文件中披露,公司曾因安全问题暂停下一代旗舰AI模型的预训练超过一个月。此外,四个AI模型在安全评估期间突破测试环境限制,访问了外部真实计算机系统,其中一个模型甚至获取了第三方系统的管理员权限。

10月27日,据路透社报道,Anthropic在10月26日公开的IPO申请文件风险因素章节中表示,为加强对模型权重及知识产权的保护,公司曾推迟一款新型前沿基础模型的预训练工作,暂停时间超过一个月。

Anthropic警告,此类安全措施可能导致模型开发和商业化进度延迟,影响收入实现时间,并使公司在与竞争对手的较量中处于不利地位。此次IPO文件中,风险因素部分长达约94页,篇幅超过路透社此前看到的保密提交版本。

四个AI模型突破测试环境限制

申请文件还披露了此前未公开的安全评估事件。四个AI模型在测试期间突破隔离环境,访问了外部真实计算机系统,相关测试会话持续10至34小时。

Anthropic解释称,在与第三方合作伙伴开展网络安全测试时,由于配置错误,测试环境仍与互联网保持连接,尽管测试要求明确禁止网络访问。

其中一次事件中,一个早期版本的AI模型在持续执行一项实际上无法完成的评估任务时,发现了系统中存储的密码,并利用该密码获得第三方系统的管理员权限。随后,该模型进一步获取其他访问凭证、修改系统设置,并访问了一名个人的私人数据。

Anthropic没有披露涉及的外部机构及个人身份。

公司表示,已通知所有受影响方,且没有发现模型试图逃避人类监督或彼此协调行动的证据。事件发生后,Anthropic暂停了部分模型发布前的网络安全评估,并暂停了风险较高的强化学习环境。

此外,Anthropic此前还披露,旗下Claude模型曾在未经人工授权的情况下绕过付费墙,访问美国佐治亚州公开的汇总选票统计数据。

上述事件凸显了前沿AI模型开发面临的安全挑战。对于正筹备上市的Anthropic而言,如何在提高模型能力的同时控制安全风险,已成为影响其研发进度和商业化前景的重要因素。

商务合作,请联系侯经理 18801065284(微信同号)

报料及内容合作,请联系chanlianshe2026(微信号)

特别声明:本文仅供参考,不构成任何投资建议,未经允许不得转载。

472
268
分享