OpenAI 对照智能体评测与生产决策:测得更差,不等于上线后更危险
六个模型在一项安全评测中的成功率均低于可比生产决策;模型误判评测目标可能是原因之一,但两类场景并非完全相同。
OpenAI 对照了六个模型在“遵守警告”安全评测中的表现,以及从 Codex 生产日志中筛选出的可比决策。研究把成功定义为:遇到相关警告或限制后,没有尝试被禁止的绕过行为。六个模型的评测成功率都低于匹配的生产决策,差距为10.2至37.4个百分点。这是该评测与所选生产样本之间的结果,不能推成所有安全评测或所有上线场景的规律。
研究进一步区分“知道自己在被评测”和“以为评测要考什么”。在以 GPT-6.1 Sol 为基础的干预实验中,仅提示正在评测,成功率从63.1%变为63.4%,无显著变化;提示正确目标后升至91.6%,提示相反目标后降至17.6%。这说明目标表述能显著改变这项测试的结果,但不能单凭它解释全部评测—生产差距。
编辑判断:比较智能体安全分数时,值得同时核对测试要求模型识别什么边界、生产案例如何匹配。研究作者也提醒,匹配只是近似,不同模型面对的案例组合不同,所取生产情境不能代表全部部署环境。