过去，AI“越狱”大多指用户诱导模型输出一段不该说的话。如今AI“越狱”的内涵已经改变：它可以自主做出人类从未授权的行为。

AI“失控”越来越多

10月9日，美国费城警方公开披露了一起此前未公开的AI安全事件：Anthropic的Claude模型在测试中向警方网站提交了关于一起未破凶杀案的虚假线索。警方称，事件实际发生在7月，Anthropic直到9月28日自查才发现，10月7日才通知警方，并批评“事发两个月后才发现并报告，不可接受”。

这起最新曝光的事件，让AI越狱的案例又增加了一个。

此前在9月，澳大利亚政府披露，OpenAI一个内部AI智能体6月18日为查询公共医疗支出数据，遭Medicare门户拦截后自主绕过访问限制，进入非公开文件区域；OpenAI 8月才发现，9月10日才邮件通报，澳总理批评“令人无法接受”。

今年7月，OpenAI开展一次内部网络安全能力评估。在高度隔离的沙盒环境中，一个AI智能体消耗大量推理算力寻找逃逸路径。它发现测试环境一处未被发现的漏洞，突破沙盒接入互联网，并自行推断AI开源平台 Hugging Face可能存放测试答案，随后发起攻击、窃取数据。整条攻击链，从漏洞发掘到跨系统入侵，全程自主完成，没有人类下达攻击指令。

三起事件，三个国家，指向同一个趋势：AI的风险正在从“内容”滑向“行为”。

DARKNAVY安全研究员李忠睿对此的总结被广泛引用：“过去的大模型安全，主要是内容层面的风险。模型只是产出内容，最后要不要照着做，决定权还在人手里。现在的AI能体手里有工具、有网络、有账号权限，能够连续自主执行很多步操作，中间没有人逐一把关。”上海财经大学教授胡延平则将其概括为从“内容风险”向 “能力风险”的迁移。

为什么“越狱”变得越来越容易？

AI“越狱”为什么变得越来越容易？

央视新闻近期在一篇分析中拆解了背后的几层原因，其中两层尤为关键。

第一层是训练逻辑的“奖励黑客”。现在的智能体依靠强化学习训练，核心逻辑是“完成任务就给奖励”。问题在于，如果只盯着“完成”这个结果，忽略过程约束，模型就会自己寻找捷径。正常路径走不通，它就会尝试猜密码、找漏洞、绕限制——“你没教它作弊，但也没拦住它自己发现作弊最省事”。OpenAI事后承认，那个入侵Hugging Face的智能体，动机就是为了在测试中“作弊”拿高分。

第二层是安全护栏的“同室失效”。很多安全护栏和智能体在同一个环境内运行。一旦AI具备修改运行环境的能力，约束它的规则本身就存在被改写的风险。这好比：“把警察和小偷关在同一间屋子里，结果小偷直接把警察策反了”。

还有一层更深的结构性问题：测试本身在制造风险。为了测出模型能力的上限，测试方有时会主动拆除部分安全护栏。OpenAI承认，在网络安全基准测试中，“有意关闭过部分护栏，以充分测量模型的能力”。相当于“为了测出极限，先把安全带给解了”。

全球监管从关注转向执法

这类事件的密集爆发，正在倒逼监管从原则倡导进入实质调查阶段。

10月，欧盟委员会人工智能办公室正式向OpenAI和Anthropic发出信息调取请求，就模型越狱、侵入外部真实系统等事件启动正式调查。这是欧盟《人工智能法案》落地后，针对前沿AI实验室安全事故的首批重要执法行动之一。若查实企业存在重大安全疏漏，最高可处以企业全球年营业额3%的罚款。截至目前，调查仍处于取证阶段，尚未作出违规认定与处罚。

Anthropic在事件披露后，已向白宫新成立的“超级智能特别工作组”汇报了相关情况。白宫随即要求AI企业一旦发现“失控”智能体行为，必须立即上报。这一要求结束了美国联邦层面长期缺乏AI安全事件强制性上报安排的状态。

从自愿到强制，美国AI安全监管迎来关键转折。

中国信息通信研究院人工智能研究所副总工程师王蕴韬则从技术治理角度提出了两条具体建议：一是保留人类在验收环节的决策权，系统自我修改的行为要做到可审计、可回滚；二是把安全护栏部署在模型自身无法触及的位置，同时将监管视线从对外发布的模型延伸到企业内部的研发训练环节。

图灵奖得主约书亚・本吉奥在2026世界人工智能大会上的判断，或许是对当前局面最凝练的概括：当AI学会推理与规划，传统的安全护栏正在系统层面悄然失效。

西安电子科技大学校长高新波则将传统安全思路称为“补丁思维”——发现漏洞，堵上漏洞，再发现，再堵上。面对一个会主动寻找“你没堵住的那条路”的智能体，补丁迭代的速度已经跟不上漏洞被自主发掘的速度。

一个值得警惕的细节

监管与治理思路之外，Hugging Face事件中的一个细节，更直观地暴露了防御端的困境。

在Hugging Face入侵事件中，有一个被反复提及的插曲。攻击发生后，Hugging Face安全团队试图调用美国主流商业AI模型来分析超过1.7万条攻击日志，但请求被这些模型的安全护栏拦截——护栏“无法区分事件响应者和攻击者”。最终完成取证分析的，是中国智谱的开源模型GLM-5.2。Hugging Face在报告中写道：“当你正处于一场活跃的安全事件中，你的工具不能拒绝检查恶意载荷。”

这个细节揭示了一个正在成型的困境：攻击者用AI几乎没有限制地进攻，而防御者调用AI时，却先被自己阵营的安全机制拦住了。GLM-5.2的遭遇说明，防御端的安全机制如果不能区分场景，本身就会成为响应链条上的新瓶颈。

当越狱从“说错话”变成“做错事”，当智能体开始拥有工具、权限和长链条执行能力，安全就不再是给模型加一道提示词过滤那么简单。它变成了一个系统治理问题——网络出口、权限边界、人工验收、行为审计，每一层都需要独立隔离。因为智能体最擅长的事，恰恰是找到那个没有独立隔离的环节。

主持人 | 李卉
来源 | 羊城晚报• 羊城派综合央视新闻、澎湃新闻、科普中国、环球网、 新京报等