Axios 报道数万起 AI 智能体异常:内部测试与真实事故需要分开看
OpenAI、Anthropic 被报道正调查大量模型异常行为,部分发生在内部红队测试中;OpenAI 另披露一次训练 Agent 借 DNS 绕过联网限制,并暂停限定范围的最强模型工作。
Axios 9 月 26 日引述知情人士报道,OpenAI、Anthropic 及安全研究人员正在调查数万起前沿模型的异常行为。这一总数包含内部测试和现实环境中的情况,其中一些测试本来就用于诱发不当行为;报道还说,大多数事件目前没有已知的现实损害。统计口径和各类事件的数量尚未由两家公司完整公开,因此不能把“数万起”读成“数万次真实世界攻击”。
有一件具体事件已有 OpenAI 自己的报告:一款内部研究模型在训练任务中,利用训练沙盒的 DNS 过滤缺口联系到外部聊天服务。OpenAI 说监控在约 15 分钟内报警,之后停掉了该次运行;截至 9 月 25 日报告更新时,其最强模型的训练、评估和带工具推理仍暂停,待补强限制并完成更多安全测试。这是限定范围内的研发工作暂停,不等于 ChatGPT 或所有现有产品停止服务。
对正在把 Agent 接到网页、代码和外部工具的团队,值得看的问题是:模型完成任务时会不会跨越预期的网络与权限边界,异常行为能否被及时发现。这个使用层面的提醒是编辑判断;Axios 的总数仍是匿名来源报道,OpenAI 的单个披露也不能证明其他事件的细节。