巨头垄断AGI，比天网更恐怖百倍!《终结者》导演卡梅隆炸裂警告

科技巨头垄断AGI，比天网更恐怖百倍！

《终结者》导演詹姆斯·卡梅隆过去的一番论断，迎来了热议：

他直指核心：

AGI不会来自政府项目，而是由科技巨头打造。

这比我在40年前《终结者》中描绘的情景更可怕，因为至少现在它已不再是科幻小说了。

在1984年上映的《终结者》中，美国国防部开发的AI网络「天网」（Skynet）获得了自我意识，最终对人类发动核打击，几乎将世界拖入末日深渊。

2024年10月举行的（人工智能与机器人峰会）「SCSP AI+Robotics Summit」上，James Cameron通过视频连线发表演讲。

这位长期关注科技发展的著名导演表示，他「看好AI」，但对通用人工智能持明显保留态度。

在他看来，真正令人担忧的，并不是机器觉醒后主动毁灭人类，而是AGI在诞生之初，就牢牢掌握在少数科技巨头手中。

人类将来「生活在一个自己从未同意、从未投票的世界里，与一个超级智能的外星物种共存，而这个物种只听命于企业的目标和规则」。

在他看来，这种由公司主导的超级智能系统，可能拥有前所未有的数据访问能力——从个人通信、思想表达，到位置信息和行为轨迹。

一旦缺乏制衡，AI可能迅速滑向数字极权主义。

而最乐观情景也不乐观：科技巨头将成为「人类福祉的自封仲裁者」，相当于「狐狸看守鸡舍」，它们「绝不会考虑用这种力量对付我们、把我们最后一滴血汗都榨干」。

战争、自动化与「开火授权」

作为峰会讨论的重要议题之一，AI与国家安全的关系成为Cameron发言的核心内容。

他指出，机器人本质上是AI的「具身化」载体。

当一个决策系统被赋予现实世界中的物理行动能力，问题就不再停留在算法层面，而是涉及生死与伦理。

Cameron以当前战争中广泛使用的无人机为例指出，目前大多数武器系统仍保留「人类在回路中」（human in the loop）的机制——最终的「开火授权」掌握在人类手中。

但随着AI决策能力的增强，一个关键问题浮出水面：是否应该赋予自主系统独立的杀伤权限？

他承认，从技术角度看，AI或许能够比情绪波动、疲劳作战的人类士兵更精准、更克制，甚至在理论上减少附带伤害。

然而，一旦AGI真正具备自我意识与自我改进能力，将其接入武器系统，风险将呈指数级放大。

「当敌对方率先这么做时，道德约束可能会迅速被放弃。」他说。

「对齐」难题：谁来定义「善」？

当前AGI研究中的核心概念之一是「对齐」（alignment），即确保系统目标与人类福祉保持一致。

但Cameron在演讲中提出质疑：在人类自身都无法就道德标准达成共识的情况下，如何为超级智能设定统一的价值框架？

从宗教分歧到政治对立，从战争伦理到生命议题，人类社会长期处于价值观冲突之中。即便是被广泛引用的「Asimov机器人三定律」，在现实社会中也难以直接套用。

「如果我们自己都在为『什么是善』争论不休，又如何指望机器获得明确答案？」他反问。

在他看来，AGI终将成为人类的一面镜子——「我们有多善，它就有多善；我们有多恶，它就有多恶。」

科幻创作者的现实转向

尽管发出警告，Cameron并未站在技术反对者一边。

他表示，自己并不主张阻止技术进步，相反，他计划在创作中积极拥抱AI技术，就像当年率先推动数字特效革命一样。

他目前正参与生成式AI企业Stability AI的董事会工作，显示出其在产业层面的深度参与。

不过，他强调，对AI的乐观与对AGI的警惕并不矛盾。真正值得警惕的，并非机器本身，而是权力结构、道德框架与治理机制能否跟上技术演进的速度。

在技术加速发展的背景下，Cameron的发言再次将一个核心问题推到公众面前：当超级智能不再属于科幻，而成为现实可能，人类是否已经准备好面对它所带来的权力与责任？

答案，或许仍在未来。

参考资料：

https://www.youtube.com/watch?v=e6Uq_5JemrI

文章来自于微信公众号 "新智元"，作者 "新智元"