AGI 时代的智能诅咒

经济学研究指出，依赖出售石油等自然资源获得收入而非公民税收的国家，会受到资源诅咒的影响，结果是权贵们攫取了大量财富，却停止了对普通人的投资。当 AGI 实现后，人类是否会面临类似的“智能诅咒”？

在此前发布的《资本、AGI 与人类雄心》一文中，Rudolf 指出，AGI 到来之后，劳动力替代性 AI 将改变人力与非人力生产要素的相对重要性，这会降低社会对人类的关注度，同时使现有的权力更加有效和根深蒂固。

在本文中，基于资源诅咒现象，Luke Drago 将 Rudolf 的上述核心观点描述为智能诅咒，并提供了更具体且有说服力的数据与案例进行论证，另外他还探讨了潜在的解决方案。

本文部分观点包括：

1. AGI 更像一种资源，而非仅仅是一种技术。AGI 将不受领域的限制——目标不仅是在单一领域实现超人类能力，而是覆盖所有领域，它将取代程序员、作家、分析员，甚至 CEO。

2. 由于采用劳动力替代型 AI 系统的寡头势力（powerful actor）的收益来自“随时可用的智能”，他们将面临类似食利国的动机困境，但后果更加严重。

3. AGI 到来后，寡头势力的收入来源主要包括：国家通过企业税（主要来自开发先进 AI 系统的公司）获得收入；AI 实验室成为新的食利者；企业之间及其与寡头势力之间的交易。

4. 智能诅咒将大规模催生出类似食利国式的动力，并且没有对它们的典型约束，结果是促使寡头势力更倾向于投资 AI，而非人类。

5. 少数后 AGI 时代精英将控制所有寡头势力，而其他人只能艰难地满足基本需求。

（本文由 OneFlow 编译，原文：https://lukedrago.substack.com/p/the-intelligence-curse）

“告诉我动机，我就能告诉你结果。” ——查理·芒格

经济学家习惯于将 AI 视为一项重要的辅助工具，因此，他们难以理解 AI 怎么会使人类变得无关紧要。过去的技术革命进一步释放了人类潜能，农业革命孕育了文明，工业革命让文明进一步大放异彩。

但是，相比起犁、蒸汽机或计算机，AGI 更像是煤炭或石油，它们有以下相似点：

• 需要极其富有的参与者来发现和利用。
• 
  
• 控制权将集中在少数几个玩家手中，这些玩家主要是其开发的实验室和所在国家。
• 
  
• 依赖这些资源获取收入的国家和公司将不再需要依靠人民来获得收益。
• 
  
• 将取代推动文明发展的上一代动力源。对于煤炭，先前的动力源是木材；对于 AGI，先前的动力源便是人类。

2024 年 12 月 28 日，Rudolf 鲁道夫发表了《资本、AGI 与人类雄心》一文，他将主要观点总结如下：

劳动力替代性 AI 将改变人力与非人力生产要素的相对重要性，这会降低社会对人类的关注度，同时使现有的权力结构更加有效和根深蒂固。

在本文中，我将力图为这一现象命名，并为其构建证据基础。在之后发布的文章中，我还会讨论其潜在的解决方案。

这个问题与食利国（rentier state）所面临的困境颇为相似。食利国主要依赖资源租金而非公民税收来获取财富，因此陷入了资源诅咒——尽管拥有天然的收入来源，但在改善普通公民生活水平方面，食利国的表现往往不如经济多元化国家。

由于采用劳动力替代型 AI 系统的寡头势力（powerful actor）的收益来自“随时可用的智能”，而不是人力，他们将面临类似食利国的动机困境，但后果更加严重。寡头势力无法从我们视为生存基础的投资中获取回报，比如受教育以培养就业能力、获得就业岗位及获得工资收入，或为失业者提供福利体系。因此，他们将不会进行这些投资，而其国家的人民也将无法自给自足。人类无需再参与劳动，故亦无报酬可得。

这就是“智能诅咒”——当寡头势力开发并实施通用智能时，他们将失去投资于人的动力。

1

我对 AGI 的假设

我认为，具体来说，AGI 是一种“高度自主且在大多数有经济价值的工作上超过人类”的系统，从技术而言是可实现的，并且有 90% 的概率会在接下来的 1 到 20 年内实现（老实说，10 年太长了）。你也应该相信这一点。[1]

在大多数经济活动中，一旦广泛用上比人类更好、更便宜、更快、更可靠的 AI 系统，智能诅咒就会开始生效。我们应该预期在这一诅咒生效之后的 1 到 5 年内，我们会被困在这一结果中。

2

寡头势力为何会在乎你

所谓寡头势力（powerful actor），指的是像国家、公司和官僚机构这样的大型组织，它们塑造了我们所处的世界以及我们与世界的互动方式。

Rudolf 对国家为何关心其人民提供了以下解释：

自工业革命以来，国家与人民的利益空前一致。为了在经济上具备竞争力，一个强大国家需要高效的市场，良好的教育体系以培养技术熟练的工人，以及繁荣的中产阶级来创造需求。

不论人才来自哪个阶层，国家都从中受益。国家也从允许高度自由中获益，以促进科学、技术以及文化艺术的繁荣，这些都能提升国家的全球软实力和文化影响力。国家之间的竞争在这些方面不断推动前进——比如美国的成功，以及中国推动发展高效市场和受过教育的富裕阶层公民，并且激励自由的市场空间以促进中国的科学和初创企业。与此对比的是封建制度，当时的策略是建立一个剥削性权贵阶级，统治一群未受教育的农民，并将大部分获取的财富用于对外战争。

寡头势力的关心人民并非出于善意，而是出于以下两个原因：

1. 你能够带来投资回报，通常以税收或利润的形式体现。
2. 你会影响他们维持权力的能力，这种影响可能通过民主手段（如投票）或对政权的潜在威胁实现（指动态博弈中先行为的博弈方是否该相信后行为的博弈方会采取对自己有利的或不利的行为）。

当今世界的大多数国家都是多元化经济体，这意味着，其价值来源于众多不同的行业和人类活动，而不是依赖单一或少数几个来源。国家通过对个人和企业征税来获取收入，提高收入的最佳方式是提升公民的生产力。虽然这也可以通过提高税率来实现，但征税需基于已有的经济产出开展，税收总量有上限。因此，国家更倾向于培养工程师、企业家、创新者和其他具有经济生产力的劳动力，并创造条件使这些投资获得回报。为此，它们通常采取以下措施：

• 创建优质的学校、研究机构和大学
• 建设道路和公共交通等基础设施
• 构建可靠的治理体系和法院以保护财产权
• 保障言论自由和信息流通
• 支持创立小微企业
• 促进市场竞争
• 创建社会安全保障网络以提供风险支撑

这些措施不仅提高了公民的生产力，还扩大了创新发生的可能性。同样重要的是，它们能够帮助人们摆脱极端贫困，提高生活水平，并促进政治和经济自由。有了优质的学校、基础设施和竞争性的市场，公民可以接受培训并找到收入高于基本谋生需求的工作。而有了可靠的治理体系、公正的司法和言论自由，公民可以在不必担心成为政治犯的情况下向政府表达诉求。公民通过选票和经济产出获得了谈判权，从而推动改善生活水平的变革。因此，有时即使付出代价，国家也会屈从于公民的需求。

类似的现象也影响着企业。以硅谷为例，截至目前，凭借着公司急需的技能，硅谷的技术工人能拿到丰厚的薪酬。这类员工供不应求，公司为吸引他们展开的竞争也异常激烈。为了争取这些人才，公司支付高额薪水，提供股票期权，购置台球桌，全天候提供由米其林星级厨师制作的免费餐点，甚至还提供洗衣服务。虽然没人会真的认为公司提供的洗衣服务可以让收入增加十倍，但这可能吸引潜在员工加入，或让本来不满意的员工不至于跳槽到竞争对手的公司。这些员工拥有谈判能力，因此可以向公司提要求，获取改善生活质量的丰厚福利。

这形成了一个反馈循环——普通人给寡头势力赚了更多钱，后者就更有可能迎合前者的需求。如果教育能让国民（以及国家）终生收入增加十倍，那就建学校。如果带薪育儿假能吸引更优秀的员工，那就改变政策。

3

资源诅咒

我们已经看到一些国家将其经济产出与人力资本分离，这些国家被称为食利国，如委内瑞拉、沙特阿拉伯、挪威和阿曼等国。其主要收入来源于资源（通常是石油），而非公民生产性活动的产出。

理论上，你可能会认为，拥有自然资源的国家，其人民应该非常富有。只需开采这些资源并将其卖给有需求的买家就行了，为什么还要费心发展多元化经济？毕竟他们脚下就是财富。

然而，看看刚果民主共和国的例子：该国地下拥有价值超过 24 万亿美元的未开采矿藏。但他们的人民过得如何？根据世界银行的报告：

刚果民主共和国的大多数民众并未从这些财富中受益。长期的冲突、政治动荡和不稳定，加之专制统治，导致了严重且持续的危机。暴力造成的人口强制迁徙也是成因之一。自 2003 年刚果战争结束以来，这些情况几乎并没有显著改善。

刚果也是是世界上最贫穷的国家之一。据估计，2024 年约有 73.5% 的刚果人每天生活费不足 2.15 美元。在撒哈拉以南的非洲极端贫困人口中，每六人中就有一人生活在刚果。

究竟发生了什么？为什么总价值达数万亿美元的资源并未使该国脱离极度贫困？

经济学家和政治学家将这种现象称为“资源诅咒”。拥有丰富自然资源的国家，其经济增长往往不如经济多元化的国家，贫困率也更高。

导致“资源诅咒”的成因很多，但我将重点讨论一个核心因素：自然资源收入削弱了国家关心其公民经济福祉的动力。

由于收入来源是自然资源，食利国便没有动力为当前的普通人支付工资或为他们的未来投资。比如，多建学校并不会为这些国家带来额外收入。他们只会投入足够的资源以确保石油能够被开采，运输到港口，然后卖出去[2]。并不是说这些国家的公民没有能力创造值得征税的价值，而是没有必要将他们发展成一个可以征税的群体。

当你可以直接用地下资源赚钱时，为什么要向公民收税呢？

在缺乏资金的情况下，普通人难以创造需求。在专制政权中，除非公民能对当权者构成潜在威胁，否则执政者根本没有动力去关心他们。那些掌控租金流的人可以毫无顾虑地攫取财富，无需考虑他人死活。

那么，这些国家的公民生活状况如何？费迪南·埃比尔博士和斯特芬·赫托格博士（https://www.cambridge.org/core/journals/american-political-science-review/article/from-rents-to-welfare-why-are-some-oilrich-states-generous-to-their-people）提供了两种具有竞争性的图景：

在比较政治学理论中，很少有议题会像“资源租金与政府福利提供的关系”这样存在如此鲜明对比的预测。一方面，秉承传统食利国理论的学者认为，资源丰富的统治者可能会通过发放大规模的福利政策来安抚民众。另一方面，那些提出关于石油富裕国家的政治形式化模型的学者认为，统治者往往会忽视其国民的福祉。资源租金通常被少数精英阶层攫取，他们无需依赖国内经济基础便能实现自我致富，进而导致政府提供的福利服务极少，社会贫困问题持续恶化。

在实践中，两种发展路径均有案例佐证。例如，阿曼和赤道几内亚在 1995 年至 2014 年期间的人均自然资源租金水平大致相当——略高于人均 8000 美元。自 20 世纪 70 年代以来，这两个国家都由同一位专制统治者领导，当时两国均处于极度贫困的状态。然而，两国的发展轨迹却截然不同。在苏丹·卡布斯（Sultan Qaboos）的领导下，阿曼迅速改善了公共服务，从 1971 年的每千名活产婴儿中有 159 人死亡，下降到 2010 年的每千名活产婴儿中有 9 人死亡，远低于中东每千名活产婴儿中 32 人死亡的平均线，成为全球儿童死亡率下降最快的国家之一。相比之下，在特奥多罗·奥比昂（Teodoro Obiang）总统的治理下，赤道几内亚的国家几乎只发展了安全服务机构，其他领域几乎没有发展，大部分人口仍生活在极端贫困中。其婴儿死亡率仅从 1971 年的每千名活产婴儿中有 263 人死亡下降至 2010 年的每千名活产婴儿中 109 人死亡，仍高于撒哈拉以南非洲地区每千名活产婴儿中 89 人死亡的平均线。资源租金的收益几乎完全由总统的小圈子独占。

有时，食利国会建立起较大的社会安全保障网络[3]，但大多数情况下，这些国家除了少数掌控资源租金流的寡头势力之外，其他人都生活在极端贫困中[4]。这是为什么？埃比尔和赫托格（Ebil、Hertog）给出了答案：

我们认同资源丰富国家的政治形式化模型所揭示的观点，即统治精英的首要目标是维持自身权力。公共政策的制定以这一核心目标为导向，并体现了精英对其统治所面临威胁的评估。在这一框架内，精英们会竭尽所能从资源收入中实现个人利益最大化。

同时，我们也认同现有文献的结论，即在资源依赖型政权中，提供福利政策的经济回报相对较低，而在政治上，统治者不会期望这些福利政策所产生的潜在的现代化效应（指可能带来的社会、经济和政治变革）。基于这一点，我们预计，拥有丰富石油资源的政权通常会建立狭隘的“腐败联盟（kleptocratic coalitions）”，仅提供有限的福利政策，而精英的自我财富积累则非常猖獗。

然而，这种效应并不适用于广泛传播的技术，因为技术的运用依赖普通人将其纳入日常工作流程，以提升生产力。那么，AGI 是否会有所不同呢？

4

AGI 更像一种资源，而非仅仅是一种技术

试想一下，你是一家大型公司的首席执行官。雇佣员工是一种投资行为——你支付他们薪水，而薪资占据了公司总预算的很大一部分，作为回报，他们的工作为公司创造收入。每年你都会雇佣数千名初级分析师，负责公司的基础工作，例如收集数据、撰写报告或制作精美的PPT。此外，你还会对他们进行培训，随着其他员工逐步晋升，这些新员工也会接替其岗位。他们的工作不仅能为你带来当下的收益，他们还将在未来二十年内成长为资深员工，甚至有可能取代你的位置。

雇佣分析师的目的有二：组建劳动力队伍，完成当下的基础工作；培养储备人才，接替逐渐未来会退休的现有员工。

2010 年代时，笔记本电脑逐渐普及。相比笨重的台式电脑，笔记本电脑让分析师们可以随时随地工作。他们可以在会议中详细地记录笔记，也可以在分组讨论时进行协作。然而，笔记本电脑无法取代分析师的工作，因为你不能直接用语言来命令笔记本完成具体任务。相反，分析师需要主动使用笔记本，才能获得其带来的便利。

因此，你为所有分析师配备了笔记本电脑，这使得几乎所有分析师的工作都变得更加高效，从而增加公司的利润。然而，笔记本电脑只是工具，它并不能：1）让一个分析师完成十个人的工作；2）完全自动完成分析师的任务。

时间快进到 2030 年，一家叫 BigLab 的公司发布了一款由 GPT-8 驱动的 AI 智能体。它完成任务的速度比人工分析师快 20%，效果好 10%。而且，运行这样一个智能体的年成本仅为 10000 美元——相比雇佣一个分析师，至少节省 80% 的费用。它甚至可以让你的顶尖分析师一人完成十个人的工作，或者完全“克隆”这些优秀分析师，实现整个分析师团队工作的自动化。

这款 AI 智能体不仅效果更好，而且也更可靠。AI 消除了寻找人才时的瓶颈，使得在所有领域寻找、准确评估和雇佣人才的难题变得不复存在。Rudolf 的观点如下：

如果想将金钱转化为成果，那么最重要的问题可能就是招募到合适的人才。这个过程有几个问题：1. 除非你自己在同一领域有相当的才能，否则通常很难判断人才。因此，如果你试图寻找人才，往往收获不大。2. 人才稀缺（有资质的人才更加稀缺——许多机构不能依赖任何其他类型的人才，参考第1点），这样的人才本就很少。3. 即便找到了顶尖人才，他们往往不太容易被金钱所收买。

AGI 不仅会比你的分析师更出色，还会更可靠。在系统整合之前或者不久之后，你就可以清楚地认识到它的表现究竟如何。你可以预测一下它在更新和改进中会有多少进步，在它超越分析师之后的数月或数年内，甚至会在制定公司战略决策方面超越你。

或许你非常喜欢现有的分析师团队，并对这个新系统持怀疑态度。你决定试运行一段时间。一年后，AGI 的表现已经全面超越所有分析师。而且人类的介入实际上会拖慢系统的效率，还会导致“人类式”的结果（可能不如自动化系统高效或准确）。此时，你还会继续雇佣更多分析师吗？显然不会。未来的分析师团队规模将会大幅缩减。而且，如果公司遇到困难，浮现在你脑海中的是：解雇大部分员工后，反而能获得更好的工作结果。

在这种情况下，为什么你还要继续保留分析师？他们成本更高，表现却不如系统，而且不可靠。也许某位员工（比如 Mike）面试表现很好，也很讨人喜欢，但企业经常会解雇那些管理层个人喜欢的员工。如果你的公司不解雇他们，你就会被这样做的竞争对手打败。

有没有什么东西表现得和 AGI 类似？那就是自然资源。我们非常清楚石油的用途，知道完成需要能源的任务时需要多少石油，也知道哪种石油最适合某种用途。当需要为汽车加油时，我们不用去调查或者对比 10 个加油站，也不需要去“赌”哪个加油站的油能让你的车顺利行驶。只需停下来，确认汽车需要的石油类型，然后加满油箱就好。

AGI 在“智能”领域的作用将如石油在能源领域的作用一样。它能够轻松嵌入工作流程，稳定地完成任务，而且其表现远胜于之前的任何工具或人员（包括你）。无论是公司、官僚机构还是政府，所有参与者都会面临竞争压力，不得不替换掉人类，让 AI 成为接班人。AGI 将不受领域的限制——目标不仅是在单一领域实现超人类能力，而是覆盖所有领域，它将取代程序员、作家、分析员，甚至 CEO。

这并非只是假设。我们已经开始看到一些接近 AGI 的系统正在缩减分析师队伍，改变人事战略，并进行裁员。别忘了，当今的系统才刚刚起步。随着时间推移，它们的能力只会持续增强。随着它们变得更强大，其对劳动力市场的影响也会急剧增长。正如阿申布伦纳（Aschenbrenner，前 OpenAI 超级对齐部门员工）所说，“不需要相信科幻，只需要相信图表上那条智能不断上升的直线。”

我们正在朝着一种由默认动力所驱动的默认结果的方向前进。那么，这些动力是什么？它们将创造出怎样的世界？

5

智能诅咒的定义

“智能诅咒”描述了后 AGI 时代经济中的动力，这种动力将促使寡头势力更倾向于投资 AI，而非人类。如果 AI 能以更低的成本和更高的效率完成你的工作，那么就没有理由雇佣你。更重要的是，也没有经济上的理由去投资你的终身生产力、照顾你的生活，或者让你长期参与经济活动。我们或许可以通过全面自动化创造前所未有的价值，但如果成果的分配方式和最不公平的食利国的情况如出一辙（即被少数人垄断），这些成果也不会为大众带来更美好的生活。

一种常见的反驳论点是，我们会坚持要求人类来完成某些工作，它们永远无法被自动化。这种观点经常被用在教师这一职业上。我听到许多家长表示，他们更希望由真实的、有人情味的教师来照顾和教育孩子。

然而，这种观点完全忽略了更大的图景：问题不在于我们是否需要教师，而在于是否还有足够的动力去资助学校运转。同样的逻辑可以无限套用在任何需要投资普通人生产能力的事物，任何依赖于人类可支配收入的奢侈品，以及任何用以维持人类生存的基本服务。[5] 按照默认模式，寡头势力不会构建能够雇佣人类或为人类提供资源的事物，他们没必要这么做。

政府的收入来源中仍然会有税收，但主要是来自企业税收。与此类似，企业的收入将来源于它们的 AI 系统，而非人类劳动的产出。那些发达国家常见的高质量生活投资，包括工资、教育、基础设施、稳定的治理等将不再带来任何回报，而人类已无法为寡头势力创造价值。

那么，寡头势力将从哪里获得收入？

国家通过企业税收获得收入。开发先进 AI 系统的公司以及使用这些系统的公司将创造巨大的收入，随着它们的规模不断扩大，国家对它们的税收也会随之增加。2022 年，企业税占到了经合组织成员国平均财政收入的 11.5%（https://taxfoundation.org/data/all/federal/us-tax-revenue-by-tax-type-2024/），而在美国，这一比例仅为 6.5%。未来，国家的财政收入结构可能会更加依赖 AI 相关企业，与挪威、沙特阿拉伯或刚果民主共和国等资源依赖型国家更为相似，与现有的经合组织成员国平均收入水平截然不同。一旦你发现国家税收结构趋向于这些资源国家，你就会意识到“智能诅咒”已经显现。

AI 实验室成为新的食利者。AI 实验室的主要目标是开发 AGI。一些实验室甚至正在调整其公司架构，以确保能够将这一目标的商业价值最大化。一旦它们开发出了能够“包揽一切”的系统，是否会将其免费共享？答案显然是否定的。它们将成为经济中的横向基础层级，通过向寡头势力出售 AI 系统来从所有经济活动中获取租金。初期，或许会有一些外包服务能够通过优化特定垂直领域中的 AI 系统来盈利（这一现象已经存在），但别指望这种局面会持续太久，毕竟，AGI 的目标是“无所不能”。这种模式将使 AI 实验室在全球 GDP 中占据极大的比重，并拥有以往只有国家才具备的经济权力。

企业之间及其与寡头势力之间的交易。土地、能源、计算资源、制造中心、数据中心等一切存在于现实世界中，并为目标的实现提供支持的资源都将变得更有价值。咖啡连锁店或营销公司可能会变得无关紧要，但房地产公司和能源企业将比以往更加富有。控制这些资源的寡头势力（至少在短期内可能由人类掌控）将从这些来源中获得绝大部分价值。

智能诅咒与资源诅咒的不同之处在于长期的多元化发展动力。石油带来的气候问题以及可再生能源的兴起迫使石油国家寻找新的收入来源，同时也赋予了其公民更多的权力。然而，这种影响在 AGI 上无法复现。每一代新模型都会比上一代更强大，并且极有可能继续由少数寡头势力控制。AGI 不会像石油一样“耗尽”。计算资源或能源可能会出现瓶颈，但计算的成本在不断下降，而能源也在逐渐实现绿色转型。我们不需要从 AGI 过渡到其他东西——一旦它被开发出来，它将永远存在。

假设寡头势力沿着默认的路径行事，那么大多数普通人会面临什么样的命运？告诉我动机，我就能告诉你结果：

• 公司将会解雇员工，并且不再雇佣新人。普通人不会再生产出任何公司认为有价值的东西。在短时间内，公司可能会依赖他们作为产品的消费者，但随着大多数面向普通人的公司失去经济需求基础，这些公司将逐渐衰退。
• 
  
• 国家将大幅削减公共资金。请记住，国家的收入基础将转向其他寡头势力。他们无法从普通人的劳动中获得任何价值，因此不愿意投资建设那些能够让普通人成为高效生产者的事物。包括资本、权力和抗风险能力在内的回报率来自于确保 AI 实验室能够开发更好的模型，以及使用这些模型的公司能够在现实世界中执行任务。此外，用于支持人类投资的税收在很大程度上将来自 AGI 实验室。国家之间的竞争意味着如果任何国家试图通过这种税收施行普遍基本收入（UBI）政策，其 AGI 发展可能会落后于其他国家。
• 
  
• 普通人将没有资源支持自己或彼此。绝大多数人将没有足够的经济实力来提出任何需求。他们将无法使控制资源的主体再有对普通人进行投资的动力。这意味着（在最好的情况下）他们将难以满足基本需求，或者只能依赖寡头势力出于仁慈的慈善援助。

在一段时间内，普通人可能还能产生一些价值。食利国需要部分人力来进行现实世界中的资源转移，比如必须由人将石油从地下钻取出来。可能会出现这样的情况：人类因体力劳动而获得报酬，而智能体则局限于虚拟领域。但随着机器人技术的进步[6]，对人类体力劳动的需求将减少。人类并不比人工替代型 AI 更好、更快、更便宜或更可靠，因此将无法参与经济活动，

对于食利国和殖民国[7]，价值主要来自原材料或实物商品，这些商品通常被出售给外国买家。只有少数人类参与到这些资源的生产或管理中，大多数人并未受益。于 AGI 而言，情况可能也类似。这引出了一个呼之欲出的问题：寡头势力生产的一切究竟是为了谁？

寡头势力有其特定目标，因此生产活动将围绕实现这些目标而开展。国家希望控制领土，公司希望为所有者创造更多财富，积累了大量资本的个人可能也有自己的目标。也许他们会想利用新获得的权力来殖民火星或开发海洋资源。其目标也可能不那么宏大——许多极其富有的人也满足于过上其个人享乐最大化的生活，他们都希望确保自己在社会中的新地位是稳固的，这可能需要大量的权力和资源。而当普通人不再处于价值循环中，寡头势力没有动力将利益分给普通人。

即使处于社会金字塔顶端的人类仍然重要，新兴势力也很难拥有进入这一体系的能力。一方势力之所以拥有权力，要么是因为在智能诅咒开始之前就已拥有权力，要么是因为在智能诅咒开始时处于有利地位。

这听起来很像封建经济。Rudolf 做了一个巧妙的对比：

在更糟的情况下，AI 亿万富翁拥有几乎无限的权力，而基于劳动力替代型 AI 时代的资本，建立起了一个永久的贵族阶层。不同阶层之间的权力差距可能会让现代人感到震惊，就像现代人认为封建社会的地位等级令人厌恶一样，但是别担心——就像封建社会的底层阶级在没有超人类说服力 AI 时大多接受了他们的阶层一样，未来的底层阶级也会如此。

简而言之，智能诅咒将大规模催生出类似食利国式的动力，并且没有对它们的典型约束。当人变得不再重要时，寡头势力便默认不会投资于人类。没有干预的话，默认的结果就类似于最不公平的食利国——只有少数极其富有的玩家，剩下的人则处于大规模贫困状态，且保持稳定的均衡状态。少数后 AGI 精英将控制所有寡头势力，而其他人则只能艰难地满足基本需求。

那么，有人正在着手解决这个问题吗？

6

世界在等你行动

大多数人并没有认真对待这个问题。当我和几位朋友与世界顶级专家共同讨论如何在 2030 到来前更好地治理 AI 时（https://ai2030.encodejustice.org/），我们的经济部门建议政府，“在面临需要采取更激烈应对措施情况下，应该考虑一些大胆、创新的经济政策构想”。把这些政策术语翻译得直白一些就是：“我们也不知道该怎么办，需要一些聪明人来想办法。”

我们必须打破由无限乐观所推动的集体否认文化[8]。不切实际的幻想主导了当前的舆论，有些人怀着一种自以为是的心态：他们相信自己的工作独一无二，永远不可能被自动化取代，所以他们觉得自己不必关心这些问题。

以下是两段让我印象深刻的对话：

一年多以前，我和一位资深 AI 政策人士谈到了自动化可能让人们的生活变得更糟的可能性。他完全无法想象技术可能取代工作。为什么？

我们会创造出新的工作——也许大家都会从事 AI 政策相关的工作！

我以为他是在开玩笑，但深入讨论后发现，他是认真的。每个人都觉得自己的工作是安全的——甚至是从事 AI 政策的人。

最近一次对话中，我提到了智能诅咒的概念（当时我还没有完全阐明这个概念）。对方是 AI 领域内非常有影响力的人士，他同意 AGI 最可能带来的结果是技术性失业，但他认为我们会自动通往乌托邦式的未来。他说：

我们将不再需要工作——我们能自由地自我实现，追求有意义的目标，比如写诗。

仅仅是相信“别人会想出办法”，你无法进入乌托邦式的诗意生活。你不是在向上帝祈祷，而是在向比你更无知的人类祈祷。

AI 安全领域的人认为他们对此已经免疫，他们已经确定了一个极其重要的问题——“意图对齐”（即让 AI 行为背后的意图符合人类真正的目标）——并正在全力解决它。我完全同意，意图对齐必须解决，别无他择，但 AI 安全领域的讨论经常是像那些预测“诗歌派对”的人一样乐观。对齐的 AGI 和超级智能并不等于乌托邦[9]。你所做的只是确保人类历史上最强大的技术，能被那些最容易受智能诅咒影响的力量所控制。我们不能只是计划如何开发 AGI ，还要计划 AGI 出现的第二天该怎么办。

对于那些能够认清智能诅咒本质的人，集体否认被无尽的悲观情绪淹没。

在 o3 发布的第二天，我收到了一位软件工程师的短信，他拒绝使用 Cursor 工具，他原来不相信这项技术可能会比他更强：

你怎么看 o3 ？这是我第一次感到自己可能‘玩儿完了’。

无尽的悲观让我们觉得自己“完了”，无路可逃。关于“你的 p-doom （灭亡概率）是多少？”的讨论比“你的解决方案是什么？”更为普遍。

如果你对过去一年的技术进步感到无力和绝望，那就振作起来。那些为数不多看清未来将会发生什么的人之一，世界正在等待你采取行动。希望是迈向未来的基石。

在下一篇文章中，我将提出一些我认为可以部分打破智能诅咒的方法，这些方法部分借鉴了那些成功避免了资源诅咒的国家的经验。

我正在研究细节，但我认为解决方案可以归为两类：

1. 治理方案。在健康的民主国家，选票可能可以战胜智能诅咒。人们可以通过投票改变现状，但目前我们的政府还没有做好准备。

2. 创新方案。技术可以增强人的能动性，促进人类对 AI 系统或智能体集群的所有权，或者通过其他方式让人类在经济体系中保持相关性，从而使寡头势力继续拥有对人力资本进行投资的动力。

这不仅仅是一篇博客，各国政府应该从现在就开始预测 AI 的能力，并思考应对智能诅咒的解决方案。智库需要开始制定政策，帮助我们为“后就业”世界做好准备。人工智能实验室需要批判性地审视自身的动机，并建立更完善的内部治理结构以克服这些问题。有抱负的年轻人应该积极创业，设计出能让人类继续在经济中保持相关性并惠及大众的技术，风险投资者则应该开始资助这些项目。如果你处于有利位置，能够为解决这个问题作出贡献，那还等什么呢？

有些问题是无法解决的，但所有的重大议题都值得我们全力以赴。我比以往任何时候都更乐观，明确了问题之后，我们才有解决问题的方向。

改变动机，你就能改变结果。一切从现在开始。

感谢 Rudolf Laine、Josh Priest、Lysander Mawby、Jacob Pfau、Luca Gandrud、Bilal Chughtai、Nicholas Osaka、Stefan Arama、Joe Pollard 和 Caleb Peppiatt 为审阅此文提供帮助。

注释

[1] 如果你不同意我的观点，我强烈建议你阅读这几篇文章：

https://situational-awareness.ai/from-gpt-4-to-agi/#Counting_the_OOMs，

https://medium.com/@richardcngo/visualizing-the-deep-learning-revolution-722098eb9c5，

https://blog.aiimpacts.org/p/2023-ai-survey-of-2778-six-things，

https://epoch.ai/trends。

并观看这个视频：

https://www.youtube.com/watch?v=SKBG1sqdyIU。

你还应该知道，OpenAI、Meta 和 Google DeepMind 的公开目标都是开发 AGI， Anthropic 也在朝着这个方向努力。你还应该知道，2024 中美经济与安全审查委员会的首要建议是，应“建立并资助一个类似曼哈顿计划的项目，致力于竞相开放并获取 AGI 能力。”

[2] 更多内容请见该书第七章：https://archive.org/details/africasince1940p0000coop/page/172/mode/1up。

[3] 阿曼和挪威这样的少数食利国会发展为福利国家的原因（以及这对智能诅咒的意义）将是未来文章的主题。剧透：阿曼的模式不会是解决智能诅咒的方案，但挪威的模式可能会是。

[4] 更多证据，请见：

https://armgpublishing.com/wp-content/uploads/2021/01/8.pdf，

https://digitalcommons.iwu.edu/cgi/viewcontent.cgi?article=1512&context=uer，

https://pubs.aeaweb.org/doi/pdfplus/10.1257/jep.30.1.161。

[5] 如果你脑海中浮现的下一个问题是“那么相对优势是什么？”，请注意，这部分内容原本有一篇1500字的文章驳斥了这个观点，但由于篇幅问题被删减了。那篇文章很快会发布。

[6] 这是本文写作之前 9 个月的内容，运行的模型比今天的先进模型差得多。再次强调，直线发展是值得相信的。

[7] 我会写一篇文章，探讨殖民国家如何与资源垄断国家有很多相似之处。在这两种国家中，剥削性制度为权力中心创造了财富，而权力中心并没有动力去关心其境内的人民。后殖民国家仍然遭受苦难，因为这些制度不再是对外国权力的价值剥削工具，而是变成了国内政治精英的价值剥削工具。

[8] 无限/绝对乐观主义/悲观主义由彼得·蒂尔在《从零到一》（https://www.goodreads.com/book/show/18050143-zero-to-one）一书中首先定义。关于这一概念的总结，请查阅：https://www.lesswrong.com/posts/7LZHS4afrXCNuuGK9/book-summary-zero-to-one。

[9] 这一假设的前提是，我们要么 a) 在确保系统与人类价值对齐之前解决意图对齐问题，要么 b) 完全放弃让系统与人类价值对齐，寡头势力更倾向于让机器完全服从自己的意图，而不希望它们依据某种与其利益或信念相冲突的道德准则进行反对。

文章来自微信公众号 “ OneFlow “，作者 ” Luke Drago “