图片来源：20VC

Z Highlights

• 虽然数据有限，但AI性能不会停滞不前，我们当前的算法还没有从我们拥有的数据中最大限度地提取信息，还有更多的推论、推断和其他过程我们可以应用到我们当前的数据上，以提供更多的价值。随着模型变得越来越大、越来越好，它们可以通过合成数据或通过我们训练这些模型的不同机制自己做到这一点。

• AI造成了人们对客观现实的信任缺失，错误信息、深度伪造和使用这些工具来传播各种错误信息的问题，这当然是一个巨大的担忧。但这一结果的最终影响并不是让人们开始相信他们看到的所有错误信息，真正的负面结果是人们将不再相信他们看到的任何东西。

• 人们基本上不再相信他们读到或看到的任何不符合他们当前信念的东西。我们甚至不需要AI就能达到这种程度，但AI绝对加速了这一过程。但这不是AI的错，当AI涉及到虚假信息时，它并没有发明虚假信息。在AI出现之前，虚假信息和宣传就已经存在了。你可以说AI加速了这一切，就像它对很多事情都有加速作用一样。但它并没有发明这些东西。

Harry Stebbings：Zico，我非常期待这次对话，我期待这一天已经很久了，所以非常感谢你今天加入我。

Zico：太好了，很高兴来到这里。

Harry：在我们深入讨论之前，你能先给我60秒的背景信息，解释一下为什么你如此精通这些话题，以及你今天的角色吗？

Zico：我似乎在这里收集了很多工作，我有很多不同的角色，但我首先是一个教授，也是卡内基梅隆大学机器学习系的系主任，我在这里已经有大约12年了。这里的机器学习系非常独特，因为它是一个专门为机器学习设立的系，我最近开始负责这个系，可以让我整天沉浸在机器学习的商业和思想中。此外，我最近加入了OpenAI的董事会，我是几周前加入的，这也非常令人兴奋。

现代AI技术背后基础知识

Harry：我想从一些基础和机制开始，当我们看到支撑当前AI系统的一些基本技术时，你能帮助我理解一下当前AI系统背后的基本技术是什么吗？

Zico：让我们谈谈作为LLMs的AI，当然，AI是一个比这更广泛的话题。LLMs是惊人的。它们在最基本的层面上是这样工作的：你从互联网上获取大量数据，训练一个模型。我知道这是一个我们在这里使用的非常口语化的术语，但基本上你所做的就是构建一大套数学方程式，让它们学会预测给定序列中的单词。所以，如果你看到“快速的棕色狐狸”作为句子的起始短语，它会预测下一个词是“跳过”。这是一个常见的短语，我们用来我认为在单个短语中使用每个英文字母。人们经常使用它，这就是它的工作原理。为了清楚起见，我们在互联网上训练一个大型模型来预测单词，然后当真正与AI系统对话时，我们所做的就是使用那个模型来预测下一个回应中的单词。坦白地说，这种方法有效有点荒谬，我认为人们经常会这样想。

这里有两种思想流派，人们经常使用这种模型的工作原理作为一种方式来驳斥它们。很多时候，我知道人们会说，哦，AI只是预测单词，它所做的就是这个，因此它不可能是智能的。我认为这显然是错误的。但我认为令人惊讶的科学事实是，当你构建这样一个模型，当你构建一个预测单词的模型，然后只是让这个模型自由预测一个接一个的单词，然后将它们全部串联起来，从那个过程中产生出来的是智能。我认为这是明显智能的，我真的相信这些系统是智能的，你可以训练单词预测器，它们产生智能、连贯的长篇回应，这是过去10到20年中最值得注意的发现之一，这项发现也许会持续时间更长，也许更深入。事实上，我认为这并不经常得到它作为一个科学发现应得的认可，因为它确实是一个科学发现。

数据可用性与合成数据

Harry：你提到了数据输入的重要性，许多人认为我们已经耗尽了我们现有的数据资源，我们将需要合成数据来真正补充我们已有的数据，或者我们需要创造新的形式，比如YouTube视频的转录，这大约有1500亿小时，或者不管它是什么。你认为我们耗尽了可用的数据资源，并且我们正在面临数据短缺危机，这个说法在多大程度上是正确的？

Zico：我认为这个问题有两种截然不同的答案，正如许多问题一样。你知道，这些模型基本上是为了预测互联网上的文本而构建的，如果你用完了文本，那就意味着它们达到了某种平台期，意味着它们达到了某种限制。我不认为这实际上是真的，有几个原因我可以深入讨论，但就从这些模型的趋势来看，我认为有两种可能正确也可能错误的方式。确实，许多容易获得的高质量数据，即互联网上最好的数据，已经被这些模型消耗了，我们使用了这些数据，没有另一个维基百科，对吧？真正高质量的好文本是有限的。

另一方面，这是我经常提出的观点，首先，我们只谈论文本，我们只谈论公开可用的文本。如果你开始谈论内部可用的文本，比如这样的文本，从非常直接的角度来看，我们还没有接近使用所有可用的数据。公共模型训练的数据量大约是你知道的30TB左右，或者类似的东西。30TB的文本数据，压缩后可能少一些，听起来很多，但这是一个非常非常小的数据量。如果你加载几个微型SD卡，这实际上可以放在你的手掌中，这是一个非常小的数据量。现在有更多我们没有使用的数据可以用来构建这些模型。当然，我考虑的是多模态数据，比如视频数据、音频数据，所有这些东西我们有大量的可用数据。

我的意思是，仅仅几十TB的数据并不是那些索引互联网的大公司存储的数据量，有比这更多的数据，我们还没有真正接近利用这些全部储备。现在，我们能否很好地使用这些数据，因为文本数据在某种意义上是最精练的形式，而许多这些数据并不是文本数据，还有待观察，但我们远未达到这些模型可用数据的限制。可以说，我们无法处理它，因为我们没有足够的计算能力等等，但我们在其他意义上远未达到数据限制。使用这些新的多模态数据形式的挑战是什么？我认为最大的挑战就是计算能力。如果你有像视频数据这样的东西，想想视频文件的大小与文本文件的大小。所以，如果我们转录这个播客，你知道它将是几KB，如果你从它中提取视频，它将是大约6.5MB，6.5GB，对吧？所以，我们现在有成千上万倍的差异，或者说是数量级的差异。

根据人们的看法，也许我的声音的音频和视频的全部有价值信息并不在你知道的音频中，也许我背后的这些东西真的很有价值，对吧？但暂时忽略这一点，你可以认为那里没有那么多可用的内容，但我认为如果我们谈论我们作为人类所认为的，以及我们认为人类使用什么样的数据，我会说视觉数据、时空数据对我们对智能的理解至关重要，这对我们与世界互动的方式，我们对我们自己的智能的看法至关重要，所以我无法想象没有价值，更多的数据模态，无论是视频、音频还是其他时间序列等等，这些东西我们还不完全理解，它们不是音频，但有点像其他感官信号，像这样的东西，有大量的数据可用，我认为我们还没有弄清楚如何适当地利用这些数据，由于计算能力的限制，我的意思是你必须处理所有这些数据，我们当前没有模型来很好地处理这个变量，或者只是在我们如何传输它并在这些模态之间进行泛化方面存在局限性，但我不认为它必须有用。

数据有限，但AI性能不会停滞不前

Harry：如果我们将其推向逻辑极端，并说我们已经耗尽了数据储备，你提到即使我们耗尽了，我们也不会看到模型性能的停滞，为什么会这样？因为人们会这样假设。

Zico：这里有几个不同的观点。首先，我们似乎仍然生活在一个世界里，你可以增加模型大小并获得更好的性能，即使使用相同的数据。显然，更大的模型真正的价值在于它们可以吸收更多的数据，它们能够消化越来越多的数据。但同样真实的是，如果你只是对一个固定的数据集进行多次运行，如果你使用一个更大的模型，它通常会表现得更好。所以我认为我们还没有真正达到停滞的阶段。

另一点，我认为这可能与你的合成数据的观点有关，我们现在还不知道正确的方法，但我认为没有人会争辩或者说大多数人不会争辩，当前的模型在某种意义上并没有从呈现给它们数据中提取出最大信息。一个非常简单的例子是，如果你训练一个分类器，比如在一堆图像上分类猫和狗，你会得到一定水平的性能。如果你在这些完全相同的图像上训练一个生成模型，从那个生成模型生成更多的合成数据，然后在这个更多的合成数据上训练，你不会做得更好太多，但你确实会做得稍微好一点，这很疯狂。这意味着我们当前的算法还没有从我们拥有的数据中最大限度地提取信息，还有更多的推论、推断和其他过程我们可以应用到我们当前的数据上，以提供更多的价值。随着模型变得越来越大、越来越好，它们可以通过合成数据或通过我们训练这些模型的不同机制自己做到这一点。

Harry：当我们考虑优化我们拥有的数据以提取价值时，我们可以进一步做些什么来从我们拥有的数据中获得更多价值？

Zico：老实说，我真的不知道。我认为这是目前研究中的一个主要开放问题，我们如何从我们拥有的数据中提取最大的信息内容。但正如我所说，我不认为我们接近甚至提取了所有可用的数据。所以当我看这个格局时，我们知道我们还没有接近提取我们拥有的所有数据的最大信息，我们还没有接近处理我们所有的数据。认为这在某种程度上是模型性能停滞的秘诀，对我来说与我们所看到现实并不相符。

Harry：好的，所以我们在教室里一起，我们有一个大叉号，就像数据不是瓶颈一样。那么模型呢，说实话，这个节目的乐趣之一就是我可以重复其他人说过的聪明话，并测试它们。每个人都在谈论转向许多更小的模型，这些模型可能更有效率。我们在多大程度上同意这一点？这是对的吗？我们应该如何解释这一点？

Zico：老实说，我在这里真的不知道。我认为我们还没有达到一个平衡点，我们对模型大小的稳定状态、它的应用以及它的使用方式有一个良好的感觉，是作为通用系统还是特定原因。这一切都还在探索中。我要说的是，我非常规律地使用这些模型进行我的日常工作，我几乎完全使用我可以获得的最大模型，因为它们工作得更好。当我不想重复做某个特定任务时，当我想做一般性工作时，我想使用我可以获得的最大模型。

关于小型语言模型这类东西的概念，我认为这在未来可能非常有可能，它出现在我们达到一般性之后。所以一旦我们做了足够多的事情，我们意识到好吧，有一个小任务我们想做很多次，也许在我们之前会为这个任务使用定制训练的机器学习模型，但是想法是，一旦你有一个特定的任务，你重复足够多次，你知道一个小模型可以做，它可能变得有价值专门为那个任务定制一个小模型，但老实说，我认为这种整个动态还在发展中，我们还不知道平衡点会是什么，会使用什么样的模型。

我前几天和Aiden在这里，他说现在由于模型的惊人性能和知识，越来越难看到模型的明显增益。所以以前你可以随便找个人，他们比模型更聪明，但现在实际上模型变得如此聪明，越来越难区分，几乎到了92%对94%的程度。我认为这实际上更多地与我们的基准和人们通常使用这些模型的方式有关，而不是模型本身。如果你看一些模型面临的最困难的问题，我们仍然看到更大的模型、不同的技术等带来了增益。我认为这里的部分问题实际上是这些模型是它们自己成功的受害者，人们已经开始在日常生活中非常规律地使用这些模型，他们可能有一系列问题要问这些模型。你知道，当他们第一次与模型互动时，他们会问一个问题，你可能会让它们写一篇关于你的学校的历史或你自己的传记，但你会问这些模型一系列问题。在许多这些预格式化的问题上，你知道模型已经做得很好，新模型并没有明显更好。

所以如果我说写一篇卡内基梅隆大学的历史，Llama的十亿模型可以很好地做到这一点，或者现在可以很好地做到这一点，没有理由，我的意思是也许用最大的接近源模型会稍微好一点，但这些不是相关的问题。我使用模型最多的领域可能是编码，以及做讲座转录这样的事情，在这些任务上，我绝对没有看到收益的停滞。最新的模型比之前的迭代明显更好，只是让我在与它们互动、给它们指令、与它们工作时，上升到越来越高的抽象层次。所以我认为这种看法更多地与人们对他们可以用这些模型做什么的有限想象力有关，而与模型本身无关。但随着时间的推移，这将会发展，人们会开始发现你可以用它们来做越来越好的事情。

AI模型在快速商品化过程中的演变

Harry：当我观察模型生态系统时，我遇到的一个问题就是模型的商品化。我记得一年前、18个月前，模型非常昂贵且难以获得，只有少数玩家。现在有了这么多模型，商品化使得成本降低，你预计在商品化如此快速的技术中，模型格局将如何展开？

Zico：我认为，从最近的开源模型发布，到许多闭源模型的持续进步，一切都发展得非常快。还有早期开源模型的大量涌现，这些模型并没有一个比另一个更好，它们只是让公司投入大量培训，用更好的话说，只是为了证明他们也能做到。但这样做的价值并不明确，对吧？我是说，如果有现成的很好的开源模型，你为什么要从头开始训练自己的语言模型呢？这种情况会继续吗？也许会，也许不会。我认为最有可能的是整合，但我也不太确定具体会如何展开。

Harry：你认为那些能够生存下来并取得成功的模型公司会做出什么决定？当你提到操作系统的快速增长，只有少数能够生存下来时，你认为那些生存下来并蓬勃发展的模型公司会做出什么决定？

Zico：有很多公司现在正在考虑训练自己的模型，等等。这只是一种默认的做法，当然你会这么做，但这在未来将不再是经济上可行的事情，所以这种情况将不再发生。

Harry：我想问的是，我们提到了数据，我们提到了模型，你说的第三种支柱就是你多次提到的计算，人们现在说，我们到了收益递减的阶段，更多的计算并没有带来与性能相一致的水平，我们真的达到了这种收益递减的瓶颈吗？还是我们还有很多空间可以投入计算？

Zico：我不太确定说我们在计算方面已经达到顶峰的逻辑是什么。我看到的大多数扩展法则当然表明你可以继续这样做，只是成本更高。你可以争论说，仅仅通过扩展可能不是获得更好结果的最有效方式，我认为这很可能是真的。你可以争论说，有其他更好的方式来实现与计算相同的改进水平，但计算仍然看起来是一个主要因素，而且似乎仍然能够改善事情。所以我不太确定这是否更多是关于成本的计算，你知道，模型的成本、推理时间以及它们的训练成本等等，这些更多的是我所说的实际扩展限制的担忧。

追求AGI还是追求盈利

Harry：你觉得我们提到的公司是在追求AGI——超级智能，还是利用AI来制作惊人的产品并通过它们来赚钱呢？

Zico：这个问题非常有趣，而且这两者其实并不相互排斥。我要说的是，AGI这个词被广泛使用。我定义AGI为一个系统，它在大约一年的项目中，功能上等同于你的一个密切合作伙伴。你知道，你会像重视我的一个学生或同事一样，重视它，一起工作一年。顺便说一句，这可以是虚拟的。我认为，如果我们谈论的是体现AI，它可能需要更长的时间才能实现。让我们考虑一下AI的定义，也许更少地是AI。

我经常听到这种说法，AGI可能会取代其他人的工作，但不会取代我的。让我们考虑一下，AGI将是一个系统，它在很大程度上可以自动化我所做的一切，除了我带来的那些更柔和的情感品质，但AGI一年之内可以自动化我在工作中的功能上所做的一切。所以，现在来找我的每个人，比如在这个播客中问我问题的你，你会说，我不在乎和Zico交谈，我只想和AGI交谈，因为它和Zico一样有价值。这是一个相当高的标准，而且我对这个何时会发生非常不确定，但我对AGI的看法发生了巨大的转变。我认为这可能在我一生中发生。

我认为AGI的答案一直是学术性的，不在我的一生中，我现在给出的时间框架是我认为这在你知道的4到50年之间，这确实捕捉到了我的巨大的不确定性。我个人认为它不会是低端的，但我也很难否认它，鉴于进步的速度和我看到的演变，我们必须非常认真地考虑这种可能性。这与所有新技术引入社会的情况并不相同，它会有一个渐进的曲线，有就业替代，有社会动荡，这是技术的自然循环。我实际上也同意你的观点，我们会适应它，我不想淡化这里可能需要的转变程度，但我也认为在这个新世界中胜出的公司将是那些能够最好地利用他们的劳动力来实现这一点的公司，利用这项新技术。

当前的模型提供商是否能给消费者一个很好的入门产品，让他们最大限度地利用他们的技术？这实际上是一个非常微妙的问题。我们有能够被劳动力最大限度地使用的AI产品吗？答案是现在还没有。显然，人们现在能够使用这些东西和他们现在使用它们之间存在差距。

Harry：对于大型企业来说，一个很大的担忧实际上是他们数据的流动性或可转移性。他们希望一切都在本地，对在他们的数据上训练有很高的不愿意。你认为我们会看到AI从大型企业那里带来一种从云端回到本地的趋势吗？

Zico：我发现这在某种程度上很有趣，因为企业都很高兴将他们的数据放在云端。他们使用云服务来存储他们的数据，但是，不能在这些数据上训练。我认为这在很大程度上来自对这个过程的误解。坦白说，我认为这与一个事实有关，那就是如果你考虑的模型只是把你的所有内部数据都倾倒入一个大型语言模型，这是不可行的，原因有很多，最明显的就是数据有访问权限，不是每个人都可以访问所有数据，而语言模型的默认模式是，如果你在某些数据上进行训练，你可能可以从系统中把它取回来，如果你足够想要的话。所以这与传统数据的访问控制方式不兼容。我认为这些是目前的担忧。

要明确的是，有非常简单的方法可以解决这个问题，这就是为什么基于RAG的系统在这里非常普遍，并且可能即使在微调出现后，也会继续是一个有用的范式。对于那些可能没有听说过这个术语的人来说，RAG是检索增强生成，它基本上意味着你可以去获取你可以访问的数据，你有访问权限的数据，这些数据与你的问题相关，你把它注入模型的上下文中，并基于这些数据回答问题。因此，基于RAG的技术将保持流行，正是因为它们尊重正常的数据访问程序，但我觉得这种犹豫实际上很多来自于对这些模型工作方式的根本误解。

人们认为，如果你让ChatGPT回答关于你的任何数据的问题，那么这些数据就以某种方式被训练并融入模型。你知道，无论是API调用，无论是基于RAG的调用，还是其他任何东西，这都不是真的。这些模型就是这样工作的。这些模型在一次训练中使用非常大的数据集合进行训练，如果你使用一些像API访问这样的东西，你的模型不是，你的数据不会训练。即使它被训练了，这也不是一回事。事实上，模型可以回答你的问题，并不意味着模型正在训练你的数据。这其实是非常简单的误解，我认为很多人都很难克服，我仍然在与公司交谈时看到这些误解。所以这可能在某种意义上可能是因为我们的市场营销做得非常糟糕，因为我们并不总是让人们真正理解，在某些用例中，这并不比一开始就将数据放在云端更危险，而他们都这样做了。我认为随着时间的推移，这一切都会自然发生。

最让我感到沮丧的事情，说实话，是某些人对我们一定会很快到达那里，或者反过来说，我们绝对不可能用这些现有模型实现AGI的确定程度。这实际上开始让我有点恼火，因为我个人认为，即使是作为一个AI寒冬的怀疑论者，我看到这些模型中发生的事情，我对此感到惊讶，那些一直在敲响这个钟的人说，这是即将到来的，他们在很多情况下在我看来已经被证明是正确的，我已经根据我看到的证据更新了我的后置信念，所以最让我恼火的是很多人对AGI的哲学在某种程度上似乎很少有可观察的证据改变了他们的信念。你知道，他们对达到通用AI需要什么有某些信念，或者也许AI是不可能的，或者AGI按定义是不可能的，他们保持这些信念，在我看来，面对至少指向相反结果的压倒性证据，至少在某些用例中，这并不比一开始就将数据放在云端更危险，而他们都这样做了。随着时间的推移，这一切都会自然发生。

对客观现实的信任缺失

Harry：我可以问你一个问题吗？实际上，我非常担心的一个大问题就是错误信息，就是那种深度伪造的内容，以及恶意网络攻击的制造。我认为我们在谈论这些话题时花费的时间还不够。当你想到现实背后隐藏的实际危险时，你最担心的是什么？这些也是我所担心的。

Zico：我主要在AI安全领域工作，所以在这方面我有大量的担忧，而且可以说这些担忧来自不同的方面。我可以先谈谈我现在最担心的问题……但在回答之前，我想先深入探讨一下你的观点，因为这与我们的主题相关。这些可能不是我最大的担忧，但让我们先谈谈错误信息、深度伪造和一般性地使用这些工具来传播各种错误信息的问题。这当然是一个巨大的担忧，我对此深感忧虑。但这一结果的最终影响并不是让人们开始相信他们看到的所有错误信息，真正的负面结果是人们将不再相信他们看到的任何东西。

因此，可以说我们已经在这条路上走得很远了，人们基本上不再相信他们读到或看到的任何不符合他们当前信念的东西。我们甚至不需要AI就能达到这种程度，但AI绝对加速了这一过程。不过我要说的是，这并不是一个新现象，这实际上是人类的状况。随着我们的进化，我们记录客观事实是一个相对较新的现象。我的意思是，像视频这样的东西在100多年前并不存在，现在也只是稍微多了一些。但大约100年前，人类进化所处的环境是，我们所能做的就是信任我们的亲密伙伴，这就是我们相信事物的方式。

从某种程度上说，我们现在看到这一点是悲剧性的，因为我们可能不再生活在一个有客观真理记录的世界里。我也对此感到困扰。但从另一个角度来看，也许我们只是回到了过去那种只能信任亲密伙伴来相信世界的状态。但这不会阻碍人类知识的进步吗？如果我们只信任我们身边已经认识多年的人，而不是他们发来的东西，即使亲眼见到他们也不行。显然这存在巨大的负面外部性，但在视频出现之前的时代，我们也确实发展了知识，并取得了科学进步。所以会有团体认为某些科学知识体是有价值的，并会推动这些知识的进步，即使人口中的其他大部分在历史上也一直存在，他们不重视这些科学进步或对科学进步的本质有不同的看法。我们已经生活在这个世界里了。我认为这绝对加速了我们向无法拥有客观现实阵营的迈进，但人类，甚至可以说我们的自然状态就是无法就客观现实的本质达成一致。这听起来很消极，但我不想对此过于消极。

Harry：我认为你的态度很积极，但我认为这就是你为什么看到现有媒体品牌价值不断增加的原因，因为人们对他们生产的内容的有效性和信任度很高。所以你会相信《纽约时报》发布的推文，但你不会相信某个随机账号上的一张你不认识的图片。

Zico：你可以说会有一大群人不相信《纽约时报》说的任何话。事实上，已经有这样一群人了。在很多国家，他们不会相信《纽约时报》上发表的任何内容。所以，从某种程度上说，我们已经到了那个地步。我认为，是的，我们可能更需要依赖群体，但也要依赖他们与之相关的信仰结构。但这在一定程度上是人类的问题，不要过于哲学化，但这就是我们一直以来所不得不面对的。视频是一个短暂的片段，我们认为这是我们历史上一百年的客观证据，但很快这就不再是事实了。

然而，当谈到AI安全时，平台本身应该是正义仲裁者，判断什么是对的，什么是不对的。你知道Twitter、Facebook和Reddit等平台，它们是否应该说不允许这样的内容？我相信有些内容不应该在社交媒体上分享，而且其他人也同意这一点。显然，有些内容被明确视为非法，不能发布在社交媒体上，这是大家都同意的。还有很多人也同意，一般来说，在社交媒体上表达自己时，不应该有遵守某些意识形态和观点的要求。因此，显然有一个中间地带，你必须在这里保持中立，适应现实情况，然后从这里出发。

我认为，在很多方面，这可能就是我之前所指出的，当AI涉及到虚假信息时，它并没有发明虚假信息。在AI出现之前，虚假信息和宣传就已经存在了。你可以说AI加速了这一切，就像它对很多事情都有加速作用一样。但它并没有发明这些东西。至少我希望我们现有的社会、经济和政府结构能够继续提供同样的指导，就像我们在AI世界中对待中庸之道和其他事情一样。作为政府机构，你应该制定法规和政策，但你却要处理像Transformer这样的架构和大量技术术语和信息，他们知道这意味着什么吗？我的问题是，我们的政府是否从结构上准备好有效地监管AI？

在这一点上，我同时持有两种观点。首先，我要明确的是，监管并不是我直接负责的工作。但我也想回到一些AI安全的问题上。我从来没有描述过我最大的恐惧是什么，但我认为，就像许多新技术一样，监管和政府为确保新技术造福世界而提供的框架绝对是有作用的。这就是为什么我们在一定程度上要成立政府的原因。在你的大框架下，我认为我们绝对需要更好地了解如何以及在哪里可以监管AI作为一项技术。

然而，我也认为，你所提到的例子中的很多细节，关于这些法规是如何演变的，有时可能会有些误导或偏离重点。当我阅读它们时，基本上它们在几个月内就会过时，因为它们处理的是事情，而且它们解决问题的方法与这些系统在实际中是如何真正发展起来的并不匹配。我认为，我们更容易监管AI的下游用途，比如虚假信息。我们已经有了处理这类问题的法律。在很多情况下，由于AI作为一个加速器，我认为现有的法律可能只需要稍作调整，以应对AI能够产生的速度和数量，就足以监管我们认为的有害的AI用例。但同时，我认为这也不足以解决问题。当然，技术，尤其是像AI这样强大的技术，我们必须思考如何监管它。但我不知道这会是什么样子，我认为这极其困难，因为它变化得非常快。

人工智能中的安全关注与层级

Harry：说到模型的安全保管，我想讨论一下你所关心的安全层级，因为我提到了我的。那么，你会如何分类你的安全层级呢？

Zico：当然，我目前在人工智能安全方面最大的担忧是，人工智能导致了很多负面的下游影响。具体来说，我们现有的AI模型无法可靠地遵循规范。我的意思是，这些模型被训练来遵循你作为开发者给它们的指令，但如果用户输入了一些内容，它们可能会遵循那些指令，而不是我们预期的。我们都见过这种情况，它有很多名字，比如“提示注入”，有时根据你所得到的结果，也被称为“越狱”之类的。但核心问题是，我们很难对这些模型能产生的结果进行规则约束。因此，我们常说模型现在只是被训练成不去做某些事情。我常用的一个例子是汽车的热线点火（hot wiring），我做过很多相关的演示。

如果你问大多数商业模型如何热线点火一辆汽车，它们会说“我做不到”。但很容易通过一些手段来操纵这些模型，使它们相信你真的需要知道如何热线点火汽车，因为你把自己锁在外面了，这是紧急情况。这与我们习惯的程序行为完全不同。我们习惯于计算机程序只做我们告诉它们做的事情，不多也不少。但这些模型并不总是这样做，有时它们会做太多被告诉的事情，有时又会超出被告诉的范围。所以我们很不习惯这样思考这些模型，或者像思考这些模型一样思考计算机软件。说实话，我并不真的在乎模型告诉我如何热线点火汽车，这并不重要。网上有如何热线点火汽车的教程，它们并没有真正揭露什么敏感信息。

然而，当我们开始将这些模型集成到更大的系统中，当我们开始有agent出去解析互联网并做事情时，如果它们突然运行模型解析不受信任的第三方数据，那么这些数据可以在一定程度上控制这些模型。这是从网络安全的角度来看的，不是通常意义上的网络城市，而是从概念安全的角度来看。这就像这些模型都有缓冲区溢出问题，我们知道这一点，但最重要的是我们不知道如何修补和修复。我们不知道如何修复模型中的这个问题，但我认为我们可以取得很大的进展，我们正在取得进展。但这是目前模型的一个真正令人担忧的问题。我认为在聊天机器人这样的领域，负面影响可能不那么令人担忧，但当你开始拥有更复杂的LLM系统时，这开始变得更加令人担忧。

我还要说的是，这也许是我把这个担忧放在首位的原因，我认为我们需要弄清楚这个事实，否则我们关于这些模型的所有其他下游担忧都会变得更加严重。让我举个例子，人们经常谈论的风险，如生物风险或网络攻击风险等等。实际上，我非常担心网络风险，特别是我认为这在很多情况下已经由这些模型解决了。它们已经可以解决和分析代码中的漏洞，这非常令人担忧。我们通常认为解决这个问题的方法是，我们发布的某些模型会被告知不要使用它们内部的能力来对某些基础设施进行明显的网络攻击。但我们无法让它们遵循这一指令。有人可以访问模型本身，甚至有时只是访问一个闭源模型，就能有能力“越狱”这些东西，并经常访问到它们。我们要明确的是，我们在解决防止“越狱”、确保模型遵循规范的问题方面取得了巨大的进展。但在我们能够解决这个问题之前，很难说AI可能产生的所有其他危险的下游效应或AI可能展示的危险能力会变得多么令人担忧。

Harry： 所以，这就像是所有其他坏事的一个乘数效应，这些模型可能做到的。这就是为什么我现在如此担心，以及由于这个原因而加剧的后续元素的多重影响，就像恐怖袭击或类似案例。

Zico：嗯，这算是一个很好的切入点，因为如果越狱和模型操控是攻击向量，那么回报是什么？我们能做什么？我们真正想要做的是评估模型的核心有害能力。人们对此已经想了很多，人们会想到像化学武器、生物武器的制造，以及网络攻击。我个人认为，网络攻击比生物威胁等更明确且现实的威胁。同时，我也不想忽视这些担忧。我认为，那些比我更深入研究这个问题的人非常担心这些事情。所以，我想要以它应得的尊重来对待这个问题，因为这些是巨大的问题。

AI模型有很多潜在的危害，其中一些主要与规模和类似的事情有关，比如你提到的错误信息，但还有一些是我们认为这些模型可能具备的能力，它们会极大地降低某些坏事的门槛，比如创建一个零日漏洞利用工具，可以瘫痪全球一半以上的软件。令人担忧的是，它们或许不能自主做到这一点，至少在最初阶段，但它们可以极大地降低创建这些事物的技能门槛，实际上是将它们置于大量恶意行为者的手中。同样的情况也适用于生物风险、化学风险或其他类似的事情。我们必须认真对待这些担忧，并将它们视为真正的可能性，如果我们开始让每个人都有能力创造真正有害的东西的话。

对开源模型发布的顾虑

Harry： Alex Wang 在节目中说了一句非常精彩的话，他说，基本上，我们现在拥有的技术比核武器更具潜在的危险性和影响力。我想用一个简短的回答来概括我的问题，如果真是这样，或者部分如此，或者可能如此，那么有没有一种情况下它应该是开源的？

Zico：这里有两个问题，一个是AI是否像核武器一样危险，以及这对某些模型的公开发布意味着什么。对此我想说两点。首先，我认为核武器的类比其实并不恰当，因为核武器只有一个目的，那就是摧毁东西。也许更好的类比是核技术本身，因为它既能制造核武器，也能做比如提供无二氧化碳排放的电力，这对大量的人来说是有益的。许多人目前正在押注核能作为我们创造无碳能源的方式。但我认为，特别是将AI比作核武器往往被夸大了，因为AI有许多好的用途，而核武器可以说只做一件事，而且这不被认为是好事。这是非常不同类型的技术。

但现在让我谈谈你的第二点，也就是关于开放模型的辩论，这也是在AI安全讨论中经常上演的话题。我支持开源模型，我想首先说的是，模型的开源发布我实际上说的是开放权重，因为很多时候这些并不是传统意义上的开源，它们更像是封闭源代码的可执行文件，你只能在自己的计算机上运行它们。开放模型权重提高了我研究这些系统的能力，它们是我们在学术界及其他地方进行研究的主要工具，我认为它们现在已经成为AI整体生态系统的一个关键部分。如果你看看现在最好的模型，比如GPT-4、Claude 3.5、Gemini等，我不会对拥有一个与这些模型一样能力的开源模型感到特别紧张，就其灾难性影响而言，我们对这些模型本身有很好的控制，我们知道它们能做什么。

可以说，我们已经在这里了，因为Llama 3 405亿已经很接近了，我不认为它已经达到那个水平，但它正在接近。你知道，这种发布还没有引起一些灾难性的事件，因为现实是这些模型它们还有一段路要走。所以现在在某种程度上，我认为开放源代码，开放权重模型的发布是可以的。但我认为，当这些模型的某种能力达到一定水平时，我们应该停下来思考，是否应该就这样把这些交给任何人，让他们以任何方式使用。我确实认为，有些能力水平是我们当前发展中可以看到的，如果我要问一个问题，你知道，我们是否应该把这个给每个人，不仅仅是使用，而是使用、调整和专门化，无论他们想怎样，我不认为会有一个让我感到不舒服的点。

现在，我对我们目前的处境感到一些安慰，至少现在，有一系列封闭模型不断发布，这些模型在某种程度上比同等能力的开放权重模型提前发布，我认为这实际上是一件非常好的事情，因为我的希望是，我们会偶然发现自己在这里，不是这样的。我知道一些公司正在推动开源比我们以前拥有的更强大的模型，而且这让我有点紧张，但现在我们不在那个世界里，我们在一个世界里，最有能力模型的首次发布通常来自封闭源模型。我认为这是一件好事，我认为这给了我们一些时间，基本上让我们接受和理解这些模型的能力，在更受控的环境中，这样我们可以说，也许不是完全的舒适，但至少是一定程度的舒适，如果我们发布这个类似的模型并且开源，可能没问题。

我希望，如果其中一个模型真的证明了能够立即为任何可执行代码或编译代码或任何其他东西创建漏洞的能力，我们首先在封闭源模型中看到这一点，我们会思考一下我们是否真的想发布这个模型，一个等效的模型，开放权重，让任何人使用。我还没有问到关于AI安全的任何问题，到目前为止我向你展示的是一套对AI领域的相当务实的看法，我在谈论你知道的防止越狱，我在谈论在保护这些模型方面取得进展，我在谈论当前开源模型和封闭源模型之间的相互作用。我确实认为，虽然这不是我的领域，但关于某种代理性的AGI系统开始有意识地对人类造成伤害的更离奇的场景通常是这些，很多人幻想有想要消灭人类的流氓AI，并开始计划如何做到这一点，在我看来，我会坦率地说，这些是相当遥远的科幻场景。

这些通常是我们在讨论AI安全时的辩论，我想说关于这个的两件事。第一，我认为绝大多数的AI不应该涉及这些话题，绝大多数应该涉及我们迄今为止与你讨论过的，使系统更安全的实际问题。当前系统中已经存在大量的安全考虑和风险，即使在稍微更有能力的系统中也肯定存在，与AGI的时间框架无关，当然与你知道的流氓智能AI系统的时间框架无关。我也不想完全否定这一点，我会这样说，我很高兴人们在思考这些问题，我很高兴人们在思考这些能力，甚至是我认为的遥远场景，它们是值得思考的好东西。

顺便说一下，AI系统的更直接的危害，比如错误信息，比如滥用这些东西。你认为哪个遥远的场景最值得思考，因为大多数人只是怀疑机器人杀死工作，杀死人类，最终杀死我们的工作。我认为杀死工作是比杀死人类更紧迫的问题。我经常在这里使用的一个例子，试图带一点这两方面的东西，AI接管世界，杀死我们所有人，以及更怀疑论的学术人士会说，我现在看到了一条通往未来世界的道路，几年后，我们开始将AI模型整合到我们的软件中，我们开始越来越多地构建它，我们让这些东西在行动上有点更自主，我们开始自然地将这些东西融入我们所有的软件中，包括处理像电网这样的关键基础设施的软件。现在突然之间，你有了这些agent，它们在控制电网这样的事情上发挥着积极作用，这导致了大规模的相关故障，比如以我们无法轻易恢复的方式关闭了这个国家大部分地区的电力。现在在这个世界里，我会说，如果我们走错了路，这绝对不难想象。在这个世界里，电力已经关闭了，你可以辩论和决定，这是否是系统的一个错误，我们一开始就不应该安装LLMs，或者我们可以辩论这是否实际上是流氓AI接管并决定关闭电力，以便它能够杀死所有人类，但谁在乎，电力还是关闭了，这仍然是对这个国家的灾难性事件，所以我们需要有一个计划，如何思考这样的事情发生。这是我经常来的一个例子。某种程度上，不管AI是故意以邪恶的方式做事，欺骗人类，还是这是系统的一个错误和缺陷，最终效果在某些情况下是相同的，所以我们迫切需要采取某种结构，防止这些事情成为可能。

想象一下，如果这在所有运营电网的SK系统中也是如此，我们不理解这些系统，我们不理解它们内部是如何工作的，可能的相关故障，可能的攻击载体，所有这些事情我们都不理解，因为这样，我们需要非常谨慎地考虑我们如何部署这些系统，我们如何考虑安全问题，特别是当涉及到像关键基础设施这样的东西时，我认为这是非常紧迫的问题，是的，像生物风险这样的事情，我在这方面工作得较少，但这些可能是紧迫的问题，你不必相信超级智能的邪恶机器人，才能有这些紧迫的问题。AI安全是现在就存在的问题，我们都需要正视这个事实，它是现在就存在的问题，现在就开始解决这些问题。令人惊讶的是，我不知道你是否记得，银行通过密码测试，就像我的声音是我的密码，我真的希望你的不是现在，因为Eleven Labs正在用我的声音做一些很棒的事情，这真的很疯狂，我认为这确实颠覆了我们当前的系统，我们已经建立的大量系统，它们将继续被不断发展的AI技术所颠覆，这些都是我们必须正视的真正的问题。

Harris：在我们进行快速问答之前，最后一个问题，你对我们将要进入的未来感到乐观吗？你希望你的孩子与LLMs和模型的交流比与人类的交流更多吗？

Zico：在AI方面，我会将自己归类为乐观主义者。我已经享受这些工具，我对我们可以利用这些工具做的事情感到兴奋，甚至是在达到AGI的情况下。我在这里使用“工具”这个词，不是贬义的。你知道，AGI是一个工具，希望AGI是一个系统，我们仍然可以部署它来实现我们的目标。我不禁对这些事情感到兴奋，它在很多方面都在直接地为我所做的事情带来好处。所以我想要拥有这些工具，这就是明确的观点。我想要开发和提高这些工具的安全性，因为我想要使用它们。并不是我们有某种道德义务必须开发这些工具。我的意思是，也许有，或者我们必须开发AI和AGI，也许这是真的，但这不是激励我开发它们。

快问快答环节

Harry：Zico，我可以和你聊一整天，但我现在想进入快速问答环节。我说一句简短的话，你给出你的即时想法，这样听起来可以吗？

Zico：好的，我每个问题有多少时间？

Harry：60秒。

Zico：60秒，好的。

Harry：你曾经对模型有什么信念，后来又改变了主意？

Zico：在我的职业生涯中，我曾经认为模型架构真的很重要，通过拥有聪明的复杂架构和架构内的子模块，你会有那是通往更好AI系统的路线。我现在已经不那么相信了。我认为基本上模型不重要，架构也不重要，这同样适用于Transformer。我认为你知道，如果我们花足够的时间，任何东西都可以在他们的舞台上工作。所以我认为在很大程度上，我们的AI工作已经进入了后架构时代。

Harry：你曾经对数据有什么信念，后来又改变了主意？

Zico：我曾经认为数据必须是高度策划的才有价值，数据的价值基本上来自于非常手动的标记和人类密集的策划。当前AI的伟大洞见是，我们可以在很大程度上只是吸收互联网上存在的那种数据，基于此训练模型，并从中得到惊人的成果。并不是说策划没有价值，当然有这方面的元素，但在很大程度上，这有点旧的无监督学习的范式，这绝对是不可思议的。

Harry：加入OpenAI董事会是怎样的？Sam只是打电话给你，说嘿，喜欢你的白板，想来我们的董事会吗？

Zico：嗯，实际上在我担任系主任的前一天，我收到了董事会主席Brett的一封电子邮件，只是说嘿，你想谈谈可能加入OpenAI董事会吗？所以我想，我已经在开始一个巨大的职业转变了，为什么不加倍下注，同时做两个呢？但基本上我开始和董事会的其他成员进行了一些对话，我真的非常兴奋，能够为董事会提供我对AI和AI安全的看法，事情就是从那里开始的。

Harry：他们有没有设定角色和职责，比如一年四次董事会会议，你知道的，在会议间隙提供饼干和咖啡？

Zico：确实有四次董事会会议，但我认为，我作为AI和AI安全专家被邀请加入董事会，我很高兴能够提供我的视角和专业知识，特别是对AI的看法给董事会的其他成员。

Harry：你是否认同这样的观点，即在AI发展方面，中国比美国落后两年？

Zico：这里绝对有一些元素，是不同国家之间为了AI主导地位的一种竞赛，但我会采取不同的立场，说我认为是某些事情，比如AI安全，我们非常需要作为一个世界来工作，帮助设定标准，帮助改善每个人的未来。因为某些事情可以由国家来做，能力可能由国家来推进，安全是固有的全球性问题，所以我们需要共同努力构建安全的AI系统。

Harry：你认为最常见的问题是什么，你认为你不应该被问到？

Zico：最常见的问题必须与过度强调AI系统中涉及的架构问题有关。所以你知道，这种观念认为Transformer是使所有AI成为可能的东西。我经常被问到这样的问题，你知道，Transformer之后会是什么，等等。而事实是，正如我之前所说，这可能是一个很好的口号，我们可能正处于一个后架构阶段，它们真的不重要，我们现在可以与很多架构一起做我们目前正在做的事情，我希望我能将对话引导到更多地考虑这些模型，而不是它们的特定结构，因为这在能力方面是无关紧要的，我们更多地从它们输入的数据和它们产生的下游能力的角度来考虑这些模型。

Harry：从我漫无目的的谈话中你可以看出，我非常喜欢这次对话，非常感谢你如此出色。

Zico：很好，非常感谢你邀请我，是的，希望我不会让你不得不编辑所有这些内容，把我的胡言乱语变成听起来连贯的东西，但你知道，我相信你会做得很好。

原视频：Zico Kolter: OpenAI's Newest Board Member on The Biggest Questions and Concerns in AI Safety | E1197

https://www.youtube.com/watch?v=F74iOm34y-8

编译：Yaojue DAI

文章来自于“Z Potentials”，作者“Yaojue DAI”。