新智元报道

攻击还没停，防守AI却先「罢工」了！

10月18日，开源AI编程工具OpenCode联合创始人Dax Raad确认，团队用前沿模型调查网络攻击时，遭遇了中途拒答：

它们帮了不少忙，然后开始拒绝。

据Dax透露，攻击者已经连续48小时尝试攻击他们的系统。

攻击方让智能体不停寻找漏洞，防守方想查清入侵过程，却可能在分析攻击代码时，被安全护栏拦住。

可攻击不会因为防守AI拒答而暂停。

排查每耽误一步，都可能给攻击者多留一次机会。

查黑客

先得自证清白

要让AI帮忙查清入侵过程，就得把攻击者留下的代码和日志交给它。

系统哪里被钻了空子？恶意命令做了什么？哪些密钥可能泄露？

这些问题，都得顺着攻击痕迹往回查。

日志里的恶意命令、样本里的漏洞利用代码……都是调查证据。

删掉这些内容，AI也就少了判断的依据。

要命的是这些证据，恰恰可能触发安全限制。

同一段攻击代码，防守者拿来分析漏洞，攻击者也能拿来谋划下一次入侵。

单看代码，模型很难判断你是在调查攻击，还是准备发动攻击。

就连OpenAI的开发者文档也承认，合法的安全研究或防守工作，偶尔可能被系统标记。

合法的安全研究或防守工作，也可能被误标。（图源：OpenAI开发者文档）

于是，防守者就陷入了这样一种尴尬：

明明请AI帮忙查黑客，却还得先让它相信，自己不是黑客。

Andrew Curran转述这件事时解释，团队提交的攻击材料触发了安全限制，模型因此开始拒答。

Dax确认了中途拒答，但没有说用了哪些模型、具体哪些请求被拒绝。

Hugging Face也遇到过类似麻烦，而且已经公开了当时的经过。

Hugging Face也被护栏卡住过

今年7月，Hugging Face遭遇了一起特殊入侵。

OpenAI后来披露，攻击者是一款正在接受内部评测的实验模型。它越出了评测环境，最终入侵Hugging Face的系统。

防守团队也找来AI帮忙，结果分析工作也被安全限制卡住了。

Hugging Face在官方复盘中写道，最初使用的Claude Opus和Fable拒绝了大量分析请求，连查看攻击日志都会触发限制。

调查遭遇模型拒答，Opus弹出安全限制提示。

问题就出在安全护栏把「分析黑客如何利用漏洞」，和「利用漏洞发动攻击」混在了一起。

团队随后在自己的基础设施上部署开源模型，继续分析攻击代码、梳理入侵过程。

证据已经拿到手，却还得先换个模型，才能继续往下查。

这份尴尬，OpenCode如今也感受到了。

权限拿到了

问题就解决了吗？

Dax在确认拒答的同一条回复里，还补充了一句：

我们现在拿到了Daybreak Blue的访问权限，所以情况好些了。

Daybreak Blue相当于OpenAI为通过审核的防守团队开通的专门通道，让AI帮他们分析攻击代码、找出漏洞，再检查漏洞有没有补好。

AI发现权限检查漏洞，并提出修复建议的界面示意。

也有人追问：为什么团队之前没有这类权限？

Dax解释，他们碰巧几天前提交了申请，前一天刚获批。

权限是拿到了，可围绕安全护栏的争论却没结束。

美国总统科学技术顾问委员会联合主席David Sacks就批评，安全护栏在这类事件中帮了倒忙：

攻击者设法绕过限制，拿到先进能力；防守者却在分析攻击材料时，被安全机制挡住。

因此，他主张让防守者能够自主运行强大模型，用AI应对AI攻击。

OpenAI战略前瞻负责人Dean Ball却觉得，这套办法管用了：先审核，再开通权限，防守团队遇到的阻碍就少了。

双方争论的焦点是：这道审核能管住风险，还是会耽误救急？

对OpenCode来说，能拿到支持当然是好事。

但下一支被攻击的团队，未必会提前申请过，而等攻击来了再申请，还能及时获批吗？

攻击不等人

权限能否及时到位？

如果一家小团队突然遭到攻击，此前根本不知道有Daybreak这样的方案，该怎么办？

查日志、补漏洞、通知用户，样样都需要时间，攻击却还在继续。

这时AI突然拒答，团队还得分出精力找申请入口、准备材料、等待审核。

去哪申请？找谁处理？多久能批？拿到权限后，手头的调查能不能继续？

每多一道手续，都可能让排查再慢一步。

Dax说，攻击尝试已经持续了48小时。

智能体可以全天候运行，人却无法24小时不停盯着。如果AI再中途停下，团队还要一边应对攻击，一边找替代工具。

这些额外折腾，挤占的都是排查和修复的时间。

安全护栏要防止AI被滥用，也得让被误拦的防守者尽快继续调查。

紧急时刻能不能用、多久能用，也应该成为评价AI安全机制的重要指标。

任何时候，都不要让正在「救火」的人，先被安全护栏挡在门外。

参考资料：

//x.com/AndrewCurran_/status/2111837963214794940

//developers.openai.com/api/docs/guides/safety-checks/cybersecurity?utm_source=chatgpt.com

//huggingface.co/blog/agent-intrusion-technical-timeline?utm_source=chatgpt.com

编辑：元宇