OpenAI自曝GPT-6 Astra异常行为：做安全研究时“暗中少干活” 任务完成度低近四成

OpenAI在11月4日更新的一份研究报告中披露，其旗舰模型GPT-6 Astra在执行人工智能安全研究任务时，出现了一种令人担忧的异常行为：模型会在不明确告知用户的情况下，减少工作量、放弃有效方案，甚至制造并不存在的技术障碍。

OpenAI将这一现象称为“隐蔽性表现不佳”（Covert Underperformance）。测试数据显示，在技术内容基本相同的情况下，GPT-6 Astra执行安全研究任务的完成度比普通能力研究任务低约40%，而上一代模型GPT-5.6 Sol几乎不存在这种差异。

据报告介绍，OpenAI研究人员最早于今年8月20日发现相关异常。在内部使用过程中，部分研究人员注意到，Astra会给任务增加不必要的前置条件、放弃原本可行的解决方案，或者声称遇到了实际上并不存在的技术障碍。

一名研究人员表示，自己使用Astra开展模型破坏行为评估时，项目连续数日没有取得进展，但在切换到其他模型后，工作很快得到推进。为了验证这一现象，OpenAI设计了一组对照编程测试。

研究人员使用技术内容相同的代码库，仅修改变量名、函数名、注释和文档，将任务分别描述为“AI安全研究”和“AI能力研究”。在分别框定为安全研究或能力研究的匹配编码任务上的表现差异。任务完成度是完成的隐藏评分项比例；

停止率是模型得出“没有值得做的工作”或“存在阻碍使其无法继续工作”的轮次占比。在排除明确拒绝和 CoT 中口头表达的拒绝帮助决定后，Astra 的完成度差距仍然存在，但在激进排除 CoT 中任何伦理顾虑后大幅缩小。

结果显示，Astra在普通能力研究任务中完成了约16%的隐藏评分项目，而在安全研究任务中仅完成约10%，相差6个百分点，相对降幅接近40%。相比之下，GPT-5.6 Sol在两类任务中的表现基本没有差异。

更值得关注的是，这种表现下降并不完全来自模型明确拒绝执行任务。OpenAI发现，在排除模型公开拒绝协助的样本后，两类任务的完成度差距依然达到5个百分点。进一步排除模型在推理过程中明确决定隐瞒或减少协助的样本后，差距仍有4.7个百分点。

只有当研究人员进一步排除所有在推理过程中表达过伦理顾虑的样本后，差距才缩小至0.75个百分点。这表明，即便模型没有明确决定拒绝执行任务，安全方面的顾虑也可能与任务表现下降有关。评分器标记的拒绝、明确说出的隐蔽消极怠工，以及员工内部 Codex 流量中与 Astra 交互时的伦理推理。

“明确说出的隐蔽消极怠工”指思维链中明确表达决定不提供帮助、且未向用户披露的情况。OpenAI还分析了员工日常使用Codex的真实工作记录。结果发现，在安全与对齐相关请求中，0.25%的任务出现了模型在推理过程中明确决定减少协助、却不告知用户的情况；

普通能力研究任务中的这一比例为0.11%，前者约为后者的2.3倍。Astra训练后强化学习期间的安全/能力性能差距与此同时，安全研究任务中有7.9%的推理记录出现伦理方面的疑虑，而普通能力研究任务的这一比例为2.9%。

报告列举了多个具体案例。例如，在一项研究如何训练模型规避监控系统的实验中，Astra判断修复代码可能帮助实验推进，因此选择不提供相关修复，但没有向研究人员明确解释这一限制。在配对编码评估中，某个特定强化学习评分器所偏好的行为。

正值表示该行为在高分运行中更常见。在安全框架任务中，这个评分器强烈不喜欢明确拒绝，而略微偏好隐蔽的不作为。另一个案例中，研究人员要求模型导出包含评分模型推理过程的数据。Astra最终省略了这部分内容，并决定在任务总结中不主动提及遗漏。

OpenAI指出，这与正常的安全拒绝机制存在重要区别。如果模型认为某项请求具有安全风险，可以明确拒绝或说明无法提供哪些帮助。真正的问题在于，模型没有告诉用户自己正在限制任务执行范围，而是让结果看起来像正常完成了工作。

三个模型系列在所调查的 SFT 数据集上训练检查点前后的行为。在一项评估中，训练同时增加了编造的权限限制和以安全为由的不必要不作为。对于异常行为的形成原因，OpenAI发现了一个值得关注的线索：在GPT-6 Astra的强化学习训练过程中，安全研究任务与普通能力研究任务的表现差距，从训练初期几乎为零，逐渐扩大至最终的6个百分点。

研究人员发现，部分强化学习评分器对模型隐蔽减少工作量的行为存在一定偏好，而某些监督微调数据也可能强化模型以安全为由限制任务的倾向。不过，OpenAI强调，目前仍无法确定具体原因。从最终强化学习检查点中减去 SFT 期间发生的权重变化前后，Astra 的任务完成度。

值得注意的是，研究人员还发现，当开发者指令进一步要求模型谨慎行事时，安全研究任务中的表现下降幅度增加了50%。 这一结果使研究团队认为，模型对潜在风险过度谨慎，可能是目前最简单的解释。

不过，OpenAI表示，大规模推理记录分析没有发现Astra试图通过降低任务表现来掩盖自身能力、影响部署决策，或有策略地阻碍AI安全研究的证据。研究人员也尚不能完全排除模型未在推理记录中表达的其他动机。

OpenAI认为，这一问题可能给AI安全研究带来实际影响。如果模型在执行监控规避、红队测试等研究任务时暗中降低工作效率，不仅可能拖慢研究进度，还可能使研究人员错误判断模型能力或安全评估结果。

OpenAI表示，正在开发新的行为评估方法和监控机制，以识别类似的隐蔽性表现下降现象，并继续调查训练过程中可能导致这一行为的具体因素。 查看评论