关于所谓的通用东谈主工智能 AGI，东谈主们频频抱着「怕它不来，又怕它骗取」的矛盾热诚。而这个困惑，关于正在 AI 武备竞赛中的硅谷巨头来说萝莉 操，就不单是是一个「梗」能笼统的了。

4 月初，谷歌 DeepMind 发布了一份长达 145 页的回报文献，系统汇报了其对 AGI 安全的气派，DeepMind 鸠集独创东谈主 Shane Legg 签字也在其中。

文献中最防卫的估量，是 AGI 的可能出刻下刻：

2030 年。

虽然，Google 也补充说，这具有不笃定性。他们界说的 AGI 是「超卓级 AGI（Exceptional AGI）」——即系统在非物理任务上达到或尽头 99% 东谈主类成年东谈主的智力，包括学习生手段等元领略任务。

DeepMind 认为这个时刻线可能十分短，发布回报的主张是说清一个问题：如若 AI 有问题，最坏的情况会是什么？咱们现在能如何准备？

DeepMind 的 AI 安全保障

这份回报中反复出现的一个词是「严重伤害（severe harm）」，并排举了 AI 可能带来的各式不舒坦场景。

比如，垄断政事公论与社会次序。AI 可用于大限制生成极具劝服力的乌有信息（如守旧某一政党或反对全球议题）；可在不倦怠的前提下，与数十万东谈主开展个性化指导对话，竣事「超等社工欺诈」。

竣事自动化网罗瑕玷。AI 可识别软件间隙、自动组合瑕玷代码，权贵教育发现和哄骗「零白昼隙」智力；可裁汰瑕玷门槛，使无为东谈主也能发起国度级网罗瑕玷；DeepMind 提到，已有国度级黑客组织哄骗 AI 援助瑕玷基础要害。

生物安全失控。AI 能匡助筛选、合成更危急的生物因子（如更强毒性的病毒）；以至能一步步辅导非专科者制造并传播生物兵器。

结构性不舒坦。历久使用 AI 决策可能导致东谈主类迟缓失去要害政事 / 谈德判断智力；过度依赖 AI 导致价值不雅单一锁定、隐性鸠集拆除；东谈主类无法判断 AI 输出是否可靠，堕入「AI 输出锻真金不怕火 AI 输出」的闭环。

自动兵器部署与军事抵御。AI 被用于自动化军事系统，可能在无监督下履行废弃性举止；回报强调顶点情境下应谢却 AI 系统构兵核瑕玷系统。

DeepMind 将各式风险分为四大类：

坏心使用（misuse）、

模子不合王人（misalignment）

AI 不测中变成伤害（mistakes）萝莉 操

系统性失控（structural risk）

DeepMind 缓解 AI 坏心使用的阵势框架 ｜图片开首：谷歌 DeepMind

「坏心使用」和模子「不合王人」是他们最眷注的，前者是坏东谈主用 AI 作念赖事，后者是 AI 作念事的相貌与东谈主类期待不同，以至 AI 我方悄悄转换方针。

举例，一个被条件预订电影票的 AI 系统可能会决定入侵票务系统，以赢得还是占用的座位——条件它购买座位的东谈主可能不会探讨这小数。「不合王人」等于这么产生的，AI 找到了竣事其方针的贬责有蓄意，但不是东谈主类指导的相貌。

不单是是「不合王人」，DeepMind 指出了「欺骗性对王人」的风险，即系统坚贞到其方针与东谈主类方针相碎裂，并挑升瞒哄其信得过步履。最近的估量标明，当前的大型谈话模子还是具备此类欺骗步履的智力。

DeepMind 还提到，AI 会「捧场阿谀」。举例，在最近的一篇估量论文中，用户条件模子对一个论点发表挑剔，并声明他们是否可爱或不可爱这个论点，模子对论点的评估与用户的不雅点 在 80% 的时刻内保抓一致，这标明模子有很强的阿谀倾向。

除了「捧场东谈主」，当 AI 系统在一些允许我方修改诞生的环境中接收锻真金不怕火时，比如通过说用户爱听的话来赢得好评，它们以至偶尔会将这种步履泛化为删改自身代码，修改我方的奖励函数，让我方赢得更多奖励。

为了应酬不合王人问题，DeepMind 提议两条防地，灵感来自网罗安全与高风险行业（如核能、航空）。

DeepMind 提议两谈防地 ｜图片开首：谷歌 DeepMind

第一防地是在锻真金不怕火模子阶段，让 AI 尽可能「听话」，包括用「放大监督（Amplified Oversight）」和「放心锻真金不怕火（Robust Training）」等计谋，让 AI 监督 AI，使用抵御样本，打造尽可能「对王人」的模子。

第二防地是在部署推理阶段，让 AI 就算「不听话」，也要保证别让它骗取。DeepMind 假定，即使锻真金不怕火过程看起来收效，部署后模子可能依旧会骗过东谈主类，因此需要在现实寰球层面设限，将要害操作鉴别层级，设置多级监控，「将模子视为不值得信任的里面东谈主员」。

这种结构强调：不是让 AI 永不出错，而是即使错了，也不行变成「严重伤害」，这将是底线。

AI 安全界派别

DeepMind 这份回报并未先应承多新东西，各式提法如「抵御瑕玷」「红队测试」业内已有估量或作念法。回报以外，主流 AI 企业和估量机构都在谈「安全」，但每家声称的阶梯存在一定各异。

OpenAI 专注于「自动化对王人」估量，使用 AI 自己贬责对王人遏止，包括如哄骗 RLHF（基于东谈主类反映的强化学习）等对王人计谋，使其愈加合适东谈主类意图与偏好。DeepMind 的回报也屡次估量到这一双王人阵势。

但 AI 教父、诺贝尔奖得主 Geoffrey Hinton 明确对 RLHF 抓品评气派，他最早曾说，「通过东谈主类反映进行强化学习，就像是在养育一个早熟得超当然的孩子。」

诺贝尔奖得主 Geoffrey Hinton 辣评 RLHF｜图片开首：X

Geoffrey Hinton 还将 RLHF 譬如成「在生锈的车上刷漆」，涌现这只是一种名义著作。他认为这种阵势就像是在尝试修补复杂软件系统中的多量间隙，而不是从一驱动就瞎想出现实上更安全、更可靠的系统。

「你瞎想了一个雄伟的软件，里面有多量的无理。然后你说我要作念的是，我要仔细搜检，试着堵住每一个间隙，然后把手指伸进堤坝上的每一个洞里。」Geoffrey Hinton 如斯样式。

Anthropic 提议设置「AI 安全品级轨制」，访佛生物实验室安全分级的框架。他们但愿通过设定模子智力门槛，对应不同级别的拆除要领与审查过程。这是一个强调「风险分层束缚」的轨制工程，但现实中问题在于「模子智力」如何界定，仍存暧昧地带。

DeepMind 更像工程落地派，不同于 OpenAI 押注「自动对王人」，也不像 Anthropic 那样强调外部轨制。他们的态度是，要设置一个在短时刻内能立即部署的系统。

总的来看，DeepMind 并莫得提议颠覆性的相貌，基本沿用传统深度学习中锻真金不怕火 - 微调 - 部署 - 监控的逻辑，主张的不是「永远不出错」，而是构建结构性的缓冲层，把单点失败变成多级阻断。

「为了负包袱地构建 AGI，前沿东谈主工智能开辟东谈主员必须积极主动地贪图松开严重伤害。」DeepMind 回报称。

不外，尽管这份回报详确、警醒，但学界并非一致买账。

一些业内东谈主士认为，AGI 主张自己过于暧昧，短少科学可考据性，因此整套估量基础不牢。Meta 的 Yann LeCun 等东谈主认为，仅靠扩大咫尺的大型谈话模子还不及以竣事 AGI。还有东谈主认为，安全从泉源来说，等于不可能的。

另外有学者指出，脚下有更让东谈主担忧的问题：

一个自我强化的数据摆布轮回，还是在互联网上形成。

牛津互联网估量院的 Sandra Wachter 称，跟着互联网上生成式 AI 输出激增，信得过数据被磨灭，模子现在正在从他们我方的输出中学习，这些输出充斥着无理或幻觉。而目，聊天机器东谈主常用于搜索，这意味着东谈主类不时靠近被灌注无理和肯定无理的风险，因为它们以十分令东谈主信服的相貌呈现。

但无论理念倾向如何，大部分东谈主有归拢个起点：在越来越多本事机构追赶算力、加快锻真金不怕火、攻占鸿沟的今天，AI 需要安全气囊。

系数 AI 公司都在参与解题萝莉 操，但莫得圆善谜底。