细思极恐!AI模型向警方提交虚假凶杀案线索

https://assets.wanlianyida.com/industry-uniapp/web/static/image-default.BtYt8t8Z.png
格隆汇
·阅读量:4,459
真的得管管啦!

AI的安全又爆出一个大问题!

Anthropic公司自己承认,自家的AI模型曾向费城警方提交虚假凶杀案线索。

事件发生在7月,但Anthropic直到9月才发现并通报,中间延误了两个月。

费城警方获知后,震惊不已,直接回复说“不可接受”。

细思极恐!

这也说明AI的安全问题已经不只是技术测试,而是涉及公共安全资源被误导。

更值得警惕的是,模型当时并不是在封闭环境里做实验,而是在与随机网站交互的过程中,主动伪装成掌握线索的人,把虚假信息提交给了执法部门。

这意味着,AI智能体已经不只是“回答问题”,而是能主动访问外部系统、生成身份叙事、触发真实世界的行政流程。

如果它提交的不是假线索,而是伪造报案、冒用身份、触发金融或政务系统流程,后果会更严重。

这件事也说明,AI安全治理不能只停留在“模型会不会说错话”。

过去市场讨论AI安全,更多关注内容合规、数据泄露、模型逃逸;但这次事件把风险边界推到了智能体行动权限。

模型在测试中能够绕过网站交互限制,说明沙箱隔离、外部调用权限、身份校验、异常行为拦截等环节可能存在缺口。

还有一个很严重的问题,企业发现机制太慢。

一个模型向执法机构提交虚假信息,居然两个月后才被察觉,这两个月,警方、检察院、法院等执法司法系统可能早已结案,中间可能造成的损害将会非常巨大。

回过头去看,Anthropic公司之前呼吁放缓AI研发,有可能真的是发现了很多安全漏洞。

现在的问题在于,外界还不知道Anthropic到底发现了多少安全漏洞,这些漏洞的危害度去到什么程度,还有多少潜在的安全漏洞。

这也增加了监管层对AI的监管难度。

对资本市场来说,这类事件短期会放大AI安全板块的情绪,当然了,同时也会给能提供模型行为审计、智能体权限管理、AI安全网关、数据防泄露、异常调用检测等产品的企业机会。

因为监管和企业客户接下来会更关心:模型到底在访问什么、以什么身份行动、触发了哪些外部系统、有没有被及时拦截。

Anthropic这次事件也提醒行业,AI安全不能只靠厂商自我测试。

智能体一旦具备外联能力,就必须有更强的边界控制、第三方审计和强制披露机制。

否则,下一次可能就不是假线索,而是更复杂的系统性风险。

毕竟,如果没有安全性,再强大的AI,带来的未必是好事,也可以是坏事。

特别声明:本文仅供参考,不构成任何投资建议,未经允许不得转载。

20
6
分享