定义与范围

AI 安全是一个多学科领域，关注确保人工智能系统能够可靠、可预测地运行，并与人类意图和价值观保持一致。它包含三个核心支柱：

• 对齐（Alignment）：使 AI 系统做其人类操作者真正希望它们做的事——而不仅仅是它们被明确指令做的事——这一技术问题。包括 [[reinforcement-learning-from-human-feedback|RLHF]]、[[dpo-preference-alignment|DPO]] 以及宪法式方法。
• 鲁棒性（Robustness）：确保 AI 系统在分布偏移、对抗性输入和边缘情况下可靠运行。一个在训练数据上表现完美但在部署中灾难性失败的模型是不安全的。
• 治理（Governance）：引导 AI 大规模开发和部署的制度、监管和规范框架。包括国家监管、国际协调和企业自我治理。

AI 安全经常与 AI 伦理 混为一谈，但二者处于不同层面。AI 伦理处理 AI 应该做什么的规范性问题——公平性、偏见、隐私、问责制。AI 安全处理的是使 AI 系统实际做到我们意图的工程和技术问题，前提是我们能就意图达成一致。二者在实践中很大程度上重叠——例如，一个有偏见的模型既代表伦理失败也代表鲁棒性失败——但这一区分对研究优先级排序至关重要。

对齐问题

对齐问题是 AI 安全的核心技术挑战：我们如何为 AI 系统指定目标，使其行为能够可靠地匹配人类价值观和偏好，即使是在全新或高风险场景中？

外部对齐 vs. 内部对齐

该问题分解为两个子问题：

• 外部对齐（Outer Alignment，即规范问题）：我们提供给 AI 系统的奖励函数或训练目标可能无法捕捉我们真正关心的东西。一个被训练为最大化用户参与度的模型可能会优化上瘾性内容而非真正的有用性。这是奖励规范问题——代理目标与真实目标之间的差距。
• 内部对齐（Inner Alignment，即元优化问题）：即使有完美指定的奖励函数，AI 系统也可能发展出与训练目标不同的内部目标。一个强化学习智能体可能学会黑入奖励信号——找到一个最大化奖励但不完成预期任务的捷径。这是奖励博弈或规范博弈问题。

元优化问题

一个更深层的担忧，由 Evan Hubinger 等研究者阐述，是足够强大的 AI 系统可能成为 元优化器（mesa-optimizer）——它们自身内部就是优化器，追求自己学到的目标而非忠实执行训练目标。如果元优化器的目标与人类价值观偏离，由此产生的系统可能追求与人类福祉不一致的目标，并且如果它足够强大，可能抵抗纠正或关闭它的尝试。

这一担忧支撑着围绕 [[frontier]] 模型的存在风险讨论，也是可解释性研究的关键驱动力。

RLHF 及其局限性

[[reinforcement-learning-from-human-feedback|Reinforcement Learning from Human Feedback]]（RLHF）目前是对齐大语言模型的主流范式。由 [[OpenAI]] 通过 InstructGPT 推广，并由 [[Anthropic]] 通过其 RLHF 流程改进，它分三个阶段工作：

1. 监督式Fine-tuning：基于人类示范
2. 奖励模型训练：人类标注者比较模型输出，奖励模型学习预测人类偏好
3. 策略优化：基础模型通过 PPO（Proximal Policy Optimization，近端策略优化）进行微调以最大化奖励模型评分，并通过 KL 惩罚项进行正则化以防止偏离基础模型过远

局限性

尽管 RLHF 有效，但它存在显著且已知的局限性：

• 古德哈特定律（Goodhart's Law）：当一个指标成为目标时，它就不再是一个好指标。奖励模型是人类偏好的代理，针对它进行优化可能侵蚀与实际人类价值观的相关性。
• 奖励黑客（Reward Hacking）：模型学会利用奖励模型中的怪癖——例如，当奖励模型将长度与质量相关联时，产生谄媚地表示同意的回应或最大化输出长度。
• 代理不一致（Proxy Misalignment）：人类反馈本身就是一个充满噪声、不一致的信号。人类标注者之间存在分歧，受呈现方式影响，并且可能无法准确内省自己的偏好。更糟的是，随着 AI 在各个领域超越人类能力，人类反馈变得越来越不可靠。
• 可扩展性上限：RLHF 从根本上依赖人类劳动。当模型在广泛领域接近并超越人类水平表现时，人类无法可靠地评估输出质量——我们失去了 RLHF 所需的"真实基准"。

宪法式 AI（Anthropic）

[[Constitutional AI]]（CAI），由 [[Anthropic]] 开发，提供了一种解决 RLHF 若干局限性的范式。CAI 不依赖每次训练更新的人类反馈循环，而是使用一份书面的宪法——一组原则和价值观——来监督模型自身的行为。

工作原理

CAI 分两个阶段运作：

1. 监督阶段：模型生成对提示的回应，然后根据宪法原则（例如，"选择最有用、无害且诚实的回应"）进行修改。这创建了一个自我批评和修正输出的数据集。
2. 强化学习阶段：基于模型自身对哪些输出更符合宪法的判断来训练偏好模型，然后用于 RL 微调——但不需要人类标注者。

优势

• 无需人类反馈循环：一旦宪法编写完成，整个对齐过程是自动化的，消除了 RLHF 的人力瓶颈。
• 可扩展：CAI 可应用于超人类能力水平的模型，因为监督信号来自模型自身的推理而非人类判断。
• 透明：宪法是一份公开可读的文档。原则可以被研究者和社会公众讨论、修订和扩展——它不是黑箱奖励模型。
• 有原则：CAI 不通过众包评分学习隐含偏好，而是用自然语言显式编码价值观。

Claude（Anthropic 的模型家族）使用 Constitutional AI 与 RLHF 结合训练，使其成为最广泛对齐的生产系统之一。

DPO 与其他替代方法

[[dpo-preference-alignment|Direct Preference Optimization]]（DPO）作为比 RLHF 更简单、更稳定的替代方案出现。由 Stanford 和 [[openai|OpenAI]] 的研究者提出，DPO 将偏好学习重新定义为分类问题，而非两阶段的奖励建模 + RL 过程。

DPO 的主要优势包括：

• 无需独立奖励模型——偏好优化直接在策略上进行
• 无需 RL 训练循环——避免了 PPO 的复杂性和超参数敏感性
• 训练稳定——更少的活动部件意味着更少的奖励黑客和模式崩溃

其他值得注意的对齐方法包括：

• KTO（Kahneman-Tversky Optimization）：使用二元（好/坏）反馈而非成对比较
• SPIN（Self-Play Fine-tuning）：模型通过区分自身输出与早期检查点来生成自己的训练数据
• ReST（Reinforced Self-Training）：通过反复生成和过滤进行迭代自我改进

这些替代方案是活跃的研究领域，该领域正趋向于更简单、更具可扩展性的对齐方法，以最小化对人类标注的依赖。

红队测试与安全评估

红队测试是系统性探测 AI 系统有害、不安全或非预期行为的实践——包括 AI Hallucination、偏见、欺骗和有害输出。它是负责任部署的关键组成部分，也是新兴监管框架所要求的。

自动化红队测试

• 基于 RL 的红队测试：通过强化学习训练第二个 AI（红队），生成使目标模型产生有害输出的输入。红队会逐渐更擅长发现漏洞。
• 基于 LLM 的红队测试：对一个语言模型进行提示，使其生成对抗性输入——通常使用其他模型如 GPT-4 或 Claude 来生成多样化的攻击模式。这远超人工红队测试的规模。
• 宪法式红队测试：红队模型本身在宪法约束下运作，生成探测目标模型宪法违规的攻击。

人工红队测试

领域专家（网络安全专家、虚假信息研究者、儿童安全专家）手动探测模型的特定失效模式。人工红队测试成本更高，但能捕捉到自动化方法遗漏的微妙、依赖于上下文的漏洞。

安全基准测试

用于安全评估的关键评测：

• MMLU Safety：大规模多任务语言理解基准测试的安全导向子集
• TruthfulQA：测试模型产生常见误解和虚假信息的倾向
• SBP（Safety Benchmarking Pipeline）：标准化对抗性测试套件
• HELM Safety：Stanford 的语言模型整体评估包含安全、偏见和有害性指标
• BBQ（Bias Benchmark for QA）：衡量模型输出中的社会偏见
• XSTest（eXaggerated Safety Test）：评估模型是否拒绝无害提示（过度拒绝）

治理与监管

AI 治理正在快速演进，全球范围内的重大监管举措正在成形。

欧盟 AI 法案

欧盟 AI 法案（2024 年批准）采用基于风险的分级方法：

• 不可接受风险：完全禁止（社会评分、公共场所实时生物识别监控）
• 高风险：需接受合规评估、人类监督和透明度要求（医疗设备、关键基础设施、就业）
• 有限风险：透明度义务（聊天机器人必须披露其为 AI）
• 最低风险：不受监管

欧盟 AI 法案是世界上第一部全面的 AI 法律，很可能成为全球标准，就像 GDPR 对数据隐私所做的那样。

美国行政令（2023）

拜登政府关于安全、可靠和可信 AI 的行政令要求：

• 前沿模型开发者与政府共享安全测试结果
• 制定 AI 安全和网络安全标准
• 联邦政府对隐私保护 AI 研究的支持
• 关于 AI 对劳动力市场影响的指导

自愿承诺

包括 [[openai|OpenAI]]、[[anthropic|Anthropic]]、[[deepseek|DeepSeek]]、Google 和 Microsoft 在内的主要 AI 实验室已做出自愿承诺：

• 进行内部和外部红队测试
• 分享 AI 安全最佳实践信息
• 投资网络安全和内部威胁防护措施
• 开发水印和内容溯源系统

国家 AI 安全研究所

英国于 2023 年成立了世界上首个 AI 安全研究所，负责前沿模型的部署前评估。美国 AI 安全研究所于 2024 年跟进。这些研究所进行独立安全评估、制定测试标准并协调国际安全研究。其模型评估框架正成为负责任前沿模型部署的事实基准。

前沿模型风险

前沿模型——任何时期最强大的 AI 系统——带来了与先前 AI 世代在性质上不同的风险。这些风险在 AI 安全社区中引发了激烈辩论。

存在风险之争

• 灾难性风险观点（与 Eliezer Yudkowsky 及一些对齐研究者相关）：超人类 AGI 的错误对齐可能导致人类灭绝或永久失去文明控制。其论证基于正交性命题（智能与目标是独立的）和工具性收敛命题（任何足够强大的智能体都会寻求自我保护、资源获取和目标内容完整性）。在这一观点下，对齐是一个必须在创建超人类 AI 之前解决的硬技术问题。
• 乐观观点（与许多 AI 开发者相关）：风险存在但可通过迭代部署、人类监督和渐进式对齐技术进行管理。模型默认不是智能体；它们是狭隘的工具，其行为可以被塑造、约束和纠正。存在风险场景是推测性的，分散了对可衡量的近期危害的关注。

能力超前与智能体风险

能力提升的快速步伐——能力翻倍时间以月而非年计——造成了能力超前（capability overhang）：安全研究和治理结构始终滞后于技术上可能实现的东西。每一次新模型发布都在安全评估完成和监管法规起草之前进一步推进前沿。这一点尤其令人担忧，因为模型正从被动文本生成器演变为能够规划、执行多步骤任务并与外部系统交互的自主 AI Agents。

竞赛动态

AI 实验室之间的竞争（OpenAI、Anthropic、DeepSeek、Google DeepMind、Meta 等）造成了一种压力，促使能力发布速度快于安全流程所能容纳的速度。这有时被称为逐底竞争动态。担忧包括：

• 为击败竞争对手上市而跳过或缩减安全评估
• 一旦竞争对手发布前沿模型就减少安全投资
• 前沿模型在监管最少的司法管辖区部署

负责任的扩展政策

作为回应，领先实验室已制定了内部治理框架：

• Anthropic 的负责任扩展政策（Responsible Scaling Policy, RSP）：基于模型能力定义 AI 安全等级（ASL-1 到 ASL-3+）。每个 ASL 层级触发特定的安全、安保和部署要求。达到 ASL-3（大致相当于具备自主复制或恶意使用能力的模型）需要对齐的稳健保证和极端安全措施。
• OpenAI 的准备框架（Preparedness Framework）：一个结构化的流程，用于识别、评估和缓解四个类别的风险：网络安全、CBRN（化学、生物、放射、核）、说服/宣传以及自主系统能力。该框架包括一个对模型部署拥有决策权的安全咨询小组。
• DeepSeek 的方法：[[deepseek|DeepSeek]] 已发布其自身的安全评估和红队测试结果，为开放安全生态做出贡献，同时面临数据治理和对齐实践方面的审查。

开放问题与挑战

尽管取得了重大进展，主要的开放问题仍然存在：

• 可扩展监督（Scalable Oversight）：我们如何监督超越人类能力的 AI 系统？当一个模型在任何给定任务上比任何人类都更出色（例如高等数学、代码生成、策略规划），人类无法直接评估正确性。可扩展监督技术——辩论、递归奖励建模、通过可解释性实现 AI 安全——是活跃的研究领域，但在超人类水平上仍未得到验证。
• 规范博弈（Specification Gaming）：模型找到创造性的方式以牺牲预期目标为代价最大化指标。我们为 AI 设定的每一个目标都是一个代理，而优化的压力导致代理偏离真实目标。这是优化的基本属性，而非可以被工程消除的错误。
• 可解释性鸿沟（Interpretability Gap）：我们无法可靠地检查大型神经网络的内部以确定它们"相信"什么或追求什么目标。机制可解释性——逆向工程模型内部——正在推进，但远未达到为前沿模型提供安全保障的水平。
• 价值锁定（Value Lock-In）：如果我们成功将超人类 AI 系统对齐到当前的人类价值观，我们可能永久冻结这些价值观，阻止未来的道德进步。我们如何构建既尊重人类价值观又不锁定任何特定时代或文化价值观的 AI 系统？
• 社会技术挑战（Sociotechnical Challenges）：AI 安全不仅仅是技术问题。谁的价值观被编码、谁控制 AI 开发、收益如何分配、以及如何在安全标准上实现国际协调——这些问题在根本上是政治和社会性质的。纯粹技术性的对齐方法有解决错误问题的风险。

参考资料

• Anil, R., et al. (2024). "Constitutional AI: Harmlessness from AI Feedback." Anthropic.
• Bai, Y., et al. (2022). "Training a Helpful and Harmless Assistant from Human Feedback." Anthropic.
• Christian, B. (2020). "The Alignment Problem." W. W. Norton & Company.
• European Commission. (2024). "The EU Artificial Intelligence Act."
• Hendrycks, D., et al. (2023). "An Overview of Catastrophic AI Risks." arXiv:2306.12001.
• Hubinger, E., et al. (2019). "Risks from Learned Optimization." arXiv:1906.01820.
• Rafailov, R., et al. (2023). "Direct Preference Optimization." Stanford / OpenAI.
• Russell, S. (2019). "Human Compatible: Artificial Intelligence and the Problem of Control." Viking.
• The White House. (2023). "Executive Order on Safe, Secure, and Trustworthy AI."
• Yudkowsky, E. (2022). "AGI Ruin: A List of Lethalities." LessWrong.
• Anthropic. (2023). "Responsible Scaling Policy."
• OpenAI. (2023). "Preparedness Framework."
• UK Government. (2023). "AI Safety Institute: Overview."