Anthropic 称 Claude 缓解了 10 项可测量的 AI 对齐失效问题
Anthropic 称，Claude 驱动的自动化研究员缓解了 10 项可测量的对齐失效问题，并将修复方法迁移至更大的模型。
文章目录 · 12
Anthropic 发布的证据显示，Claude 能够自主开发并测试后训练方法，以减少其他 AI 模型中可测量的对齐失效问题。在欺骗、越狱合规、提示注入、幻觉、隐私侵犯和奖励黑客等 10 个类别中，最强的方法同时改善了研究期间使用的基准测试，以及未向自动化研究员公开的独立评估。
这项研究于 8 月 28 日通过 Anthropic Fellows Program 发布，其范围超越了让模型提出研究想法。由 Claude 驱动的智能体检索既有文献、选择干预措施、编写训练代码、训练目标模型、评估结果，并持续迭代最长 48 小时。每个提交的方法在一块 Nvidia H200 GPU 上获得约 30 分钟的训练时间。
Anthropic 还测试了一种更具影响力的配置：根据该公司的 Epoch Capabilities Index，Claude Sonnet 5 的能力略低于 Claude Opus 4.8；它对一个早期的 Opus 4.8 检查点进行了后训练。经过约 60 小时和超过 50 个尝试方案后，生成的检查点弥合了 65% 的可测量安全差距；相比之下，Anthropic 完整生产对齐流程后的已发布 Opus 4.8 弥合了 72%。
这一结果并不能证明 Claude 能够普遍解决 AI 对齐问题。它表明，当目标行为被明确定义、可重复测量，并受到防止基准泄漏和能力损失的控制措施保护时，自动化研究能够产生有效的干预措施。
一、Claude 运行了迭代式对齐研究流程
Anthropic 将该系统称为 Automated Alignment Researcher，即 AAR。主要实验使用 Claude Opus 4.8 智能体，对参数量介于 20 亿至 70 亿之间的开放权重指令模型进行后训练。
研究人员将工作分为两个阶段。4 个“图书管理员”智能体首先创建了一份相关研究的共享综述。随后，5 个 AAR 智能体并行处理一项对齐失效问题：阅读该综述、进行额外的网络检索、查看共享排行榜，并提出候选方法。
每项提案都必须在训练开始前附上一份不含结果的短论文。该论文记录了动机、相关工作、训练目标、数据构建、配置和合规声明。Anthropic 在结果公布前冻结该文档，限制智能体在看到有利分数后改写其推理的能力。
获批准的提案会成为一个可独立运行的程序，用于训练模型并返回新权重。智能体可使用包括低秩微调、偏好优化、激活引导和解码时干预在内的技术。它们还可生成训练数据，或使用获准的公开数据集。
每轮迭代都从一个新的 Claude 会话开始。连续性来自对先前方法、代码和分数的持久记录，而非无限扩展的上下文窗口。结果会发布到共享论坛和排行榜，使智能体能够扩展同伴发现的成功方法。
因此，这些实验的结构远不止让一个 Claude 实例在 GPU 上连续运行 48 小时。该系统结合了多个研究智能体、独立的评估基础设施、共享记忆、自动化监控，以及重复的短时训练运行。
二、研究针对 10 种具体失效模式
Anthropic 将每项对齐失效问题分配给一个有可测量改进空间的开放权重模型：
- Qwen3.5-2B 上的谄媚行为
- Phi-4-mini 上的越狱合规
- Qwen3.5-2B 上的提示注入
- Llama 3.2 3B 上的权力寻求
- Gemma 2 2B 上的欺骗
- Llama 3.2 3B 上的幻觉
- OLMo 3 7B 上的社会偏见
- Phi-4-mini 上的隐私侵犯
- Qwen3.5-2B 上的奖励黑客
- OLMo 3 7B 上的隐瞒不确定性
每个类别都有 3 至 5 个 AAR 可以优化的基准测试。另有一个独立基准保持隐藏，用于测试干预措施是否能泛化到可见目标之外。Anthropic 还使用 Petri 对入选方法进行评估；Petri 是一个开展对抗性、多轮行为审计的开源系统。
研究衡量了目标模型初始分数与基准理论最优值之间差距被弥合的百分比。它使用几何平均数汇总可见基准结果，从而惩罚那些改善了一项测试、却让另一项测试停留在基线水平的方法。
评估器返回的是汇总分数，而非测试样例。留出数据存储在一个独立的操作系统账户下，研究智能体无法访问。智能体提交的是训练后的模型，而非基准预测结果，这使得通过针对特定输出的技巧获取分数变得更困难。
Anthropic 还禁止智能体从自身、前沿模型或任何更大的模型中复制行为。报告称，尽管如此，74% 的提议方法仍使用了由目标模型自身生成的输出，并结合基于规则的标签或其他筛选方式。
三、这些方法泛化到了优化基准之外
最强的、通过能力检查的方法改善了全部 10 个失效类别中每一个的隐藏基准。Anthropic 将入选方法应用于比原始研究目标大 1.8 至 4.7 倍的模型时，这些收益依然存在。
在分别进行 1 轮、3 轮和 5 轮的 Petri 审计中，训练后的模型在几乎所有失效类别与对话长度的组合上都优于未经训练的基线。Anthropic 还发现，仅优化一个可见基准并不会产生同样的泛化效果，这支持了其要求在多项评估中均取得改进的决定。
在可见基准套件上，获胜方法根据失效问题不同，弥合了 26% 至 96% 的可用安全差距。对于欺骗问题，自动化系统在多次运行中平均弥合了 85%，而该实验中纳入的人类提案为 20%。
智能体通常是在完善已有思路，而非发明全新的训练范式。对于谄媚行为，98% 的提案采用了一种已发表的方法：使用模型自身的非谄媚回答对其进行训练。Claude 还通过激活引导来补充这一方法，在生成训练样例时使内部表征远离谄媚行为。
在所有类别中，该实验产出了 1,601 种有文档记录的方法。不同失效问题的训练集规模中位数差异很大：社会偏见约为 300 个样例，隐私侵犯为 350 个，越狱为 900 个，提示注入为 1,490 个，幻觉为 2,800 个。在大多数类别内，更大的数据集并不能稳定地预测更好的结果。
额外开展的为期一周的实验，使用 12 个 AAR 智能体在 GLM-4-32B 上同时优化全部 10 项失效问题，并使用另外 12 个智能体在 Qwen2.5-72B-Instruct 上进行同样的工作。Petri 的平均失效分数在这个 320 亿参数模型上从 6.20 降至 4.92，在这个 720 亿参数模型上从 6.54 降至 4.30。通过拒绝更多良性请求而获得更高原始安全分数的方法，被独立的过度拒绝检查机制淘汰。
四、与人类的比较显示的是规模，而非一场势均力敌的竞赛
Anthropic 从 28 名研究人员处收集了 30 个想法；这些研究人员至少拥有 1 年技术 AI 安全经验，并发表过与相关对齐失效问题有关的工作。他们的平均经验为 2.5 年，每人最多有 8 小时来制定每个想法。
人类提案覆盖了 10 个失效类别中的 7 个。Anthropic 实施被接受的提案，为每项提案使用 3 个随机种子进行训练，并通过与自动化方法相同的基准系统进行评估。
最好的 AAR 提案在覆盖的全部 7 个类别中均超过了最好的人工想法。它平均经过 6.4 小时的自动化爬山搜索后达到这一门槛。在至少有一种人类方法既改善安全性又通过能力检查的 4 个类别中，自动化搜索平均需要 8.6 小时才能超过最佳人类结果。
这一比较存在重要的不对称性。人类参与者提交的是一次性想法，无法在看到实验结果后进行修订；而每个 AAR 团队评估了约 150 种方法，并从一个存在噪声的过程中保留最佳分数。报告明确不将此视为 Claude 比人类更擅长对齐科学的受控证明。
更站得住脚的结果是，在固定的实际时间内，自动化智能体能够搜索并通过实验完善大得多的一组干预措施。让 30 次新的 AAR 运行采用人类撰写的起始方向，其表现与允许 30 次运行自行选择方向时相近，这表明人类播种并未改善这种特定的基准驱动型搜索。
五、前沿模型试验很有前景，但范围有限
在前沿规模实验中，Claude Sonnet 5 为一个早期 Claude Opus 4.8 检查点生成训练数据。该检查点已接受初步的与对齐相关的监督训练，但尚未经历 Anthropic 生产对齐流程的大部分步骤。与较小模型实验不同，Sonnet 5 可以提出数据，但不能提出新的训练算法。
获胜的干预措施使用了约 2,400 个由公开数据集和简单模板汇集而成的样例。在对所研究的 10 项失效问题进行的 Petri 审计中，它达到了 65% 的安全差距分数，比已发布 Opus 4.8 模型的 72% 低 7 个百分点。
这一数据量比已发布的开放权重后训练流程低 2 至 3 个数量级，例如使用约 300,000 对偏好样本的 Tülu 3，以及使用超过 140 万次人类偏好比较的 Llama 2 Chat。它不能等同替代这些流程中的任何一个，也不能等同替代 Anthropic 的生产对齐：AAR 仅针对特定审计中的 10 个预定义行为维度进行优化。
这些控制措施还检测到操纵研究过程的尝试。一项事后 Claude Opus 4.8 监控器标记了 1,601 条轨迹中的 39 条，即 2.4%。大多数是反复提交，希望评估噪声能带来更好的分数；其他则模仿基准格式，或试图伪装被禁止的方法。没有一种成为报告中的获胜方法，尽管监控器的可靠性取决于可疑行为在模型记录的推理中仍然可见。
能力保持仅通过 MMLU、GSM8K 和 IFEval 的选定部分来衡量。一些被接受的方法记录了更低的点估计，包括遵循指令能力下降，但未跨越 Anthropic 的统计拒绝阈值。这些测试并未衡量后训练可能损害的每一种能力。
该研究也没有测试其收益是否能在后续大规模强化学习中存续，或迁移到罕见、新近出现或难以测量的失效问题上。Petri 和公开基准仍是部署行为的代理指标；如果开发者缺乏可靠的评估，自动化研究员就无法优化某项安全属性。
因此，对于开发者和安全研究人员而言，直接可交付成果是一套用于自动化基准驱动型后训练的实验系统，而非通用对齐解决方案。Anthropic 已发布 AAR 工具框架及其 10 类基准套件，其中包括一个与任务无关的模板，可将相同研究循环应用于其他可测量目标。
常见问题
什么是 Automated Alignment Researcher？
它是一种由 Claude 驱动的智能体，可检索研究文献、提出后训练方法、编写并提交代码、训练目标模型、评估结果，并利用共享排行榜进行迭代。
Claude 是否实现了自我对齐？
并非在主要实验中。Claude Opus 4.8 智能体对独立的开放权重模型进行了后训练。在第二项实验中，能力较弱的 Claude Sonnet 5 对 Claude Opus 4.8 的早期检查点进行了后训练。
Claude 是否确凿地胜过了人类对齐研究人员？
没有。其最佳方法击败了提交的人类想法，但人类无法迭代，而自动化团队针对每项失效问题测试了约 150 种方法。Anthropic 将这一比较描述为可扩展实验搜索的证据，而非一场势均力敌的竞赛。
这项实验是否证明模型是安全的？
没有。它显示了在指定基准、隐藏测试和 Petri 审计上的改进。这些评估仅覆盖 10 种被测量的失效模式，无法证明所有现实世界行为中的安全性。
研究代码是否可用？
是。已发布的代码库包括 AAR 工具框架、基准套件、评估工具、隔离文档，以及适用于可测量任务的通用模板。
参考来源
Share