意识智能体：大模型的下一个进化方向？

机器具备意识吗？本文对AI意识（AI consciousness）进行了考察，特别是深入探讨了大语言模型作为高级计算模型实例是否具备意识，以及AI意识的必要和充分条件。

本文的上篇见：破解意识，七大主流理论走到了哪里？

▷论文题目：Survey of Consciousness Theory from Computational Perspective——At the Dawn of Artificial General Intelligence ，本文摘录了该论文的第10章，第1-9章和第11章见“破解意识，七大主流理论走到了哪里？”。论文链接： https://arxiv.org/pdf/2309.10063.pdf

背景

近年来，大型人工智能（AI）模型的发展引起了人们的关注，人们开始思考意识是否存在于这些模型中，或者意识是否可以在短时间内建立在这些人工智能系统中。如图1所示，AI 智能体属于一般计算智能体的子集。在所有 AI 智能体中，AGI（通用人工智能）智能体是拥有与人类兼容的智力能力的最强者。

AGI要具有意识，还需要满足几个属性，这将在后面详细讨论。本节讨论的主题涉及大语言模型、多模态模型和具身智能体等。融合不同的模式可以提高模型的泛化能力，使其意识水平更高。不过，鉴于目前的进展和语言在人类知识中的重要性，我们将在本节主要讨论 LLM。对模型的语言进行意识评估是更为直接的方式。

▷图 1：计算智能体示意图。最大的圆圈代表一般的计算智能体，而人工智能体则属于它的一个子集。AGI 智能体是最强的 AI 智能体。在满足各种条件（记忆、注意、自我建模、自我解释、自我提升、自我报告）的情况下，可以认为 AGI 智能体具有意识。

LLMs 是指专门为语言任务设计的大型计算模型。在某种程度上，最近建立的 LLM 与哲学僵尸[Chalmers, 1997]很相似，后者是为意识的难问题辩护的著名思想实验。有时，LLM 生成的答案与人类的结果非常一致，以至于我们很难将两者区分开来，这让一些人相信 LLMs 有可能像人类一样有意识。

尽管目前的大语言模型具有很高的智能性，但研究人员[Ma et al., 2023]认为，目前的大语言模型是缸中之脑（BiV）[Putnam 等人，1981]。将大语言模型（LLM）与 缸中之脑（BiV）思想实验相比较，是对模型固有局限性的批判。在缸中之脑场景中，大脑从身体中分离出来，与一台超级计算机相连，超级计算机会产生一种令人信服的现实幻觉。大脑可以与这个模拟现实进行交互，但它与真实世界缺乏联系。同样，尽管 LLMs 的语言能力令人印象深刻，但从根本上说，它们与现实世界是脱节的。它们根据海量文本库中的模式生成反应，但这些反应仅限于训练数据，与真实世界的实体缺乏联系。

这一比较得到了以下观察结果的支持：LLM 和缸中之脑场景中的大脑一样，无法在符号（单词）和现实世界的实体之间建立联系。这种限制是其构建过程所固有的，该过程涉及基于海量文本语料库的语言关系统计建模。因此，它们的输出仅限于训练数据，无法建立符号与现实世界实体之间的联系。缺乏现实基础是 LLMs 的一大局限，因为这阻碍了它们理解训练数据之外出现的新概念。

此外，作者还认为，人类的智慧和意识与我们的感官体验和与世界的实际互动有着内在联系。我们创造符号来表示现实世界中的物体，使知识得以保存和代代相传。然而，在 LLM 中却缺少创造新奇经验并将其转化为正式知识的最初行动过程。这种互动行为和伴随的感官输入对通往理想的通用智能很重要。

关于大语言模型中是否存在意识的问题，David Chalmers 在2022年11月28日的NeurIPS会议上发表了演讲，题目是 “大语言模型是否有意识？”[Chalmers, 2023]，这发生在OpenAI 发布非常受欢迎且功能强大的 LLM ChatGPT（2022 年 11 月 30 日）的两日前。Chalmers在演讲中的主要观点是，当前的 LLM 有很小的几率是有意识的（<10%）。我们还不清楚在 ChatGPT 和后来的 GPT-4 [OpenAI, 2023] 发布之后，这一几率会发生怎样的变化。

关于这个话题，我们想提出以下有关大语言模型产生意识的问题：

（1）当前的 LLM 是否有意识？是否存在任何证据或支持？

（2）我们为什么要建立有意识的计算模型？

（3）利用 transformer 架构和自我注意机制，建立具有意识的 LLM 理论上可行吗？

（4）建立有意识的计算模型需要哪些必要的组件？

模型被视为有意识有几个关键方面：自我完善、自我改进和自我解释。

自我完善[Madaan et al., 2023]是指 LLM 通过自我评价对自身产出提供反馈，并利用反馈通过自我改进来完善其产出的能力。反思（Reflexion）[Shinn et al., 2023] 与自我完善类似，但在自我反思过程中会有持续的记忆。自我改进[Huanget al., 2022]则是说，LLM可以通过思维链提示和自我一致性评估，例如多路径推理的多数表决，为无标签问题生成高置信度输出。自我解释[Elton, 2020]也被认为是构建 AGI 系统的必要组成部分，它不仅要求智能体预测输出及其不确定性，还要求智能体有对输出的解释和对解释的自信。

如图 1 所示，如果不能满足上述能力，就会降低计算模型作为潜在意识模型的可信度。

注意力机制

近年来，大语言模型（LLM）在语言建模任务中表现出色，为自然语言处理（NLP）领域带来了革命性的变化。这些模型通常采用语言建模目标，并利用 Transformer 架构，其中包含注意力机制，以捕捉复杂的语言依赖关系。注意力机制允许模型对输入序列的不同元素赋予不同程度的重要性，使其能够生成连贯且与上下文相关的语言。

这些大语言模型在语言翻译、文本生成、情感分析和语音识别等各种 NLP 任务中表现出了卓越的性能。通过利用 Transformer 架构和注意力机制的强大功能，它们极大地促进了语言理解，并正在重塑人机交互和信息检索的未来。随着研究的不断深入，这些模型有望得到进一步的改进，从而实现更令人印象深刻的语言理解和生成能力。在未来的某一天，更高级版本的 LLM 有可能会像人类一样表现出意识。因此，我们将介绍当前 LLM 的基础知识，作为进一步讨论机器与人类意识关系的背景。

上文介绍了机器学习领域最流行的人工注意（artificial attention）类型之一，即 Transformer 架构中的注意机制。另一方面，本文（从第 2 节到第 4 节）讨论的神经科学和心理学中研究的一些意识理论与生物注意（biological attention）机制密切相关。其中包括注意图式理论（AST，第 7 章）、意识图灵机（CTM，第 8 章）、全局工作空间理论（Global Workspace Theory, GWT）等。因此，一个自然而然的问题是：人工注意与生物注意之间有什么联系[Lindsay, 2020]？

基于现有理论（AST、CTM、GWT）的生物注意机制具有以下特性：

（1）感知注意（Sensory attention）：是生物注意机制的一个基本方面，尤其是在视觉处理过程中。它通过选择性地关注特定刺激，同时过滤掉其他刺激，从而提高代表被关注刺激的神经元的信噪比。这种注意过程既能影响神经元的局部活动，也能影响不同脑区之间的交流。例如，有研究表明，注意力能提高伽玛波段的尖峰相干性，从而增强同步发射的神经元对共享下游区域的影响。此外，注意力还能直接协调不同脑区之间的交流，代表被注意刺激的神经元在 V1（初级视觉皮层）和 V4（视觉皮层中负责物体识别和颜色处理的区域）等区域的同步性增强就证明了这一点。皮层下区域，如上丘和脉络膜，也在感觉注意中发挥重要作用，协助隐蔽和公开的空间注意，并调节皮层效应。

（2）好奇心是驱动力： 生物注意力受好奇心的影响。新奇、令人困惑或惊讶的刺激会吸引注意力。颞下部和脐周皮层通过一种适应机制，减少对熟悉输入的反应，从而发出新奇视觉情境的信号。考虑新奇性的强化学习算法可以鼓励探索。

（3）解决注意力冲突：大脑有多种注意形式，如唤醒注意、自下而上注意和自上而下注意。视觉系统的局部回路将神经调节输入与自上而下的信号和自下而上的输入整合在一起。水平连接介导竞争，可能使用赢者通吃机制。

（4）奖励的影响：注意力与奖赏之间有着密切的关系。获得过奖励的刺激即使不再提供奖励，也会吸引注意力。

（5）生物注意力的局限性：分心可以被视为一种特征而非缺陷。注意环境中的潜在威胁是有益的。注意闪烁指的是，如果在第一个目标之后不久出现第二个目标，大脑可能需要处理第一个目标，从而错过了流中的第二个目标。

人工注意力机制概述如下：

（1）自然语言处理（NLP）的注意力： 注意力机制经常被添加到模型处理序列中，NLP 是一个常见的应用领域。注意力在人工神经网络中的早期应用是用于翻译任务，即神经机器翻译。注意力机制决定编码向量应如何组合以产生上下文向量，从而影响翻译句子中的下一个单词。这样，网络就能从句子的前半部分或后半部分提取信息，从而帮助翻译有着不同语序的语言。

（2）Transformer 架构：论文《注意力就是你所需要的一切》（Attention is All You Need）[Vaswani et al., 2017]代表了人工注意力机制的重大转变，尤其是在机器翻译等任务中。与传统的递归模型不同，Transformer 采用了一种被称为 “自我注意”的机制。在这种方法中，对句子中的单词进行并行编码，生成关键表征和查询表征，结合起来形成注意力权重。这些权重会对单词编码进行缩放，从而生成模型的后续层。Transformer 架构没有任何递归，简化了训练，其性能优于许多以前的模型。它不仅成为机器翻译的标准，也成为人工智能领域其他各种任务的标准。

（3）注意力调配： 挑战是如何在刺激流中选择相关信息，决定参与的最佳任务，或决定是否参与。已有人尝试直接模仿生物注意力，如 Scanpath 模型 [Borji & Itti, 2015] 预测人类的注意点。他人的注意力会影响注意力的引导方式，从而强调联合注意力的重要性。

生物系统和人工系统中的注意力之间错综复杂的关系可以从多个角度来解释：

（1）注意力机制： 在 ML 中，注意力机制旨在让单个训练好的模型在多个任务或具有不同数据长度、大小或结构的任务中表现出色。

注意力机制为每个编码/注释向量引入了动态权重，以定义循环输出生成的上下文。这不禁让人联想到生物注意力。在生物注意力中，输出灵活地依赖于有限的资源，在解码器的需求驱动下进行递归顺序处理任务。然而，与递归注意机制相比，自我注意缺乏自上而下的选择解释。多头注意可以解释为单级自上而下的选择，但其进行多级选择和递归处理的能力仍然较弱。人工注意机制与生物注意机制的另一个不同之处在于，Transformer 架构中没有明确的全局工作空间来整合来自不同子模块的信息。

（2）注意力内存：深度神经网络（如多层感知机）通常没有显式记忆，但也有一些混合架构（如神经图灵机）包含外部记忆存储。递归神经网络中的隐藏状态是另一种形式的隐式记忆。

最近在 LLM 的提示词工程和管理方面取得的进展，为神经网络提供了一种使用显性存储器的方法。这些网络学会与这些记忆存储互动，以执行任务。这种互动是由一种注意力形式促成的。这些系统中的记忆以向量的形式存储，为了检索信息，网络会为每个向量生成一个权重，并计算记忆的加权和。该模型中相似度量的使用意味着，记忆的检索是基于它们与产生的活动向量的重叠，这与神经科学中的联想记忆模型类似。这为如何在大脑中实现注意力记忆提供了一种机制，而注意力和记忆的相互作用则发挥着重要作用。

（3）内隐统计学习（Implicit Statistical Learning）：注意力会使内隐统计学习产生偏差。例如，当向受试者展示一系列刺激物，并要求他们检测某种颜色的形状何时连续出现两次时，他们往往会将真实的三连串形状识别为更熟悉的形状，但前提是这些三连串形状必须来自被注意的颜色。他们不会学习未被关注的形状的统计规律。

（4）记忆检索： 许多行为学研究都探讨了记忆检索在多大程度上需要注意。一些研究发现，记忆检索会因同时出现需要注意的任务而受到影响，这表明记忆检索是一个依赖于注意的过程。然而，确切的研究结果取决于所使用的记忆和非记忆任务的细节。即使记忆检索并不是从共享的注意力资源中提取的，一些记忆在任何特定时刻都会被选择进行比其他记忆更生动的检索，这表明存在一个选择过程。神经成像结果表明，负责自上而下分配和自下而上捕捉注意力的大脑区域可能在记忆检索过程中扮演着类似的角色。有人提出了工作记忆中项目的注意机制[Manohar et al., 2019]。它依赖于两种不同的工作记忆机制：非注意项的突触痕迹和注意项的持续活动。机器学习界也应该了解神经科学的这些创新。

（5）注意力与学习：注意和学习是一个循环。注意力决定什么进入记忆并指导学习，而学习过程则增强或纠正注意力机制。注意机制通常贯穿于人工系统的整个训练过程。通过引导学习输入中的相关成分和关系，注意力可以有效地利用数据。在计算机视觉任务中，可将显著性图用于预处理，以聚焦于内在的显著区域。将后续处理只集中在本质上突出的区域，可以避免对无关区域的浪费性处理，并防止过度拟合。除了决定处理数据的哪些部分外，自上而下的注意力还可以被认为是在处理过程中选择网络的哪些元素应该被最多地使用，这与生物感觉注意力中提出的模型相似[Kanwisher & Wojciulik, 2000；Desimone, 1998；Treue & Trujillo, 1999]。

一方面，生物注意力模型通常更具概念性，难以用计算机程序实现，尽管其中一些模型是以生理数据为基础的。如何以计算的方式巩固和建立这类模型，以用于更普遍的目的，仍然是一个巨大的挑战。另一方面，机器学习领域的研究人员也应关注神经科学和心理学中研究的概念化注意力机制，为这些在生物系统中得到证实的过程建立计算模型。

LLM 涌现智能的能力——图灵测试

图灵测试[Turing, 2009]是一种用于确认机器是否能够表现出与人类无异的智能行为的方法。尽管人们对图灵测试在区分机器与机器的规则上的不完备性存在争议，但长期以来，人们一直认为图灵测试是无法实现的，直到最近 LLM 取得成功。人们发起了用图灵测试验证 LLM 的大规模社会实验，例如一项名为 “人类与否”的实验 [Jannai et al., 2023］。 这项研究至少有 150 万用户在线参与，以与人类或 LLM 对话的形式进行。虽然结果表明，被测试者分辨对面聊天的是人工智能还是人类的正确率平均为 68%，但这项研究可能并没有显示出 LLM 在图灵测试中的全部能力。原因是人们在区分过程中发现了几种有效的策略，包括：

（1）人们认为机器人不会打错别字、语法错误和使用俚语；

（2）人们认为个人问题是测试对话对象的好方法；

（3）人们认为机器人不了解当前的事件；

（4）人们试图用哲学、道德和情感问题来挑战对话；

（5）过于礼貌往往意味着不太人性化；

（6）人们试图通过提出人工智能机器人难以回答或倾向于避免回答的问题或请求来识别机器人；

（7）人们使用特定的语言技巧来揭露机器人；

（8）为了评估聊天伙伴的反应，许多人还别出心裁地假装自己是人工智能机器人。

这些帮助受测者在图灵测试中正确猜测的策略，实际上大多与对话者的智力水平无关，而更多地是从其他角度出发，对当前版本的 LLM 不利，包括：训练 LLM 中的正确性和礼貌性要求（即第 1、5、6 点）；训练 LLM 中缺乏特定身份（即第 2 点）；训练数据的局限性（即第 3-4 和 7 点）；对抗性（即第 3-4 和 7 点）等。这些训练偏差很可能通过在训练过程中稍加改变就能切实解决，这将导致图灵测试的 LLM 版本更强、更有导向性，也更难与人类区分开来。因此，作为一个也得到一些知名研究人员广泛支持的命题，我们认为 LLM 已经非常接近甚至已经通过了图灵测试的智力水平。

另一些研究人员则认为，LLM 可能并不像我们想象的那样聪明。镜像假说[Sejnowski, 2023]认为，LLM 实际上可能只是一面反映对话者智力水平的镜子。该假说的证明方法是，用不同的提示但相同的问题来引导 LLM，不同的提示下模型生成的答案将大相径庭。由于提示过程是一个一次性的学习过程，可以理解为模型在为对话者进行调整，因此对话者自身的智力水平会反过来影响 LLMs。这就构成了反向图灵测试，表明 LLMs 可用来评估对话者本人的智力或人格。有关这一话题的更多讨论，请参阅后面有关使用 LLM 评估人类人格的章节。

大语言模型的意识

在本节中，我们将对计算模型有意识的条件进行一般性讨论，而不仅仅讨论 LLM。特别是，我们有兴趣分析Chalmers [2023]提出的人工系统具有意识的充分必要条件。此外，受认知心理学测试的启发，我们根据提出的标准，对包括 GPT-3.5 和 -4 在内的 LLM 进行了一些初步实验，并讨论了它们的自我报告能力、人格测试和镜像测试的结果。

一项同时进行的工作[Butlin et al., 2023]基于现有的意识理论，包括循环处理理论[Lamme, 2006, 2010, 2020]、全局工作空间理论（第5节）、高阶层次理论（第6节）、注意图式理论（第7节）等，总结了几个 “指标属性”，作为指导构建有意识人工智能模型的评价和计算证据。如果我们先接受“计算功能主义”——也就是只要一个系统执行了正确的计算，它就可能拥有意识——那么研究者确实可以着手打造出具备“意识指标”的人工智能模型。然而，这些指标究竟是不是“足够且必要”，学界仍在激烈争论：少了它们，系统一定没意识吗？有了它们，系统就必然有意识吗？答案尚无定论。

人工意识与人类意识

Reggia[2013]对人工意识进行了调查，并将过去的工作分为两大目标：意识的模拟（弱形式）和实例化（强形式）。前者类似于人类意识中的信息处理；后者则对应于人类意识中的主观体验（感质）。以往开发人工意识的工作都是在前文所述意识理论的启发下建立计算模型。然而，模仿人类意识的多种理论表述并不能说明所构建的人工系统具有类似人类的意识。检验人工系统是否存在意识的标准仍是该领域的一个未决问题。Seth [2009]概述了不同的公理建议。在本文中，我们感兴趣的是 LLM 是否具有类似人类的实例化意识。

人工意识的充分条件和必要条件

Chalmers [2023]认为，人工系统具有意识的充分条件有如下形式（作为一种肯定的观点）： 如果一个计算模型具有 X，那么它就是有意识的。

关键问题是什么是 X。这个问题可能太难回答，所以我们转而讨论必要条件：如果一个计算模型是有意识的，那么它就会有 X。毫无疑问，与必要条件相比，我们更想知道建立一个有意识的计算模型的充分条件。然而，在实践中，我们相信观察到更多在必要条件中的 X 会让我们更相信计算模型是有意识的。相反，如果我们试图证明的是一个计算模型没有意识（作为一种否定的观点），那么就有一个与上述等价的说法：如果一个计算模型缺乏 X，那么它就不是有意识的。我们将试图从计算模型中观察到 X 的不存在，而一个有效的 X 将证明计算模型缺乏意识。

如果 LLM 有意识，我们会观察到什么？

从肯定的角度来看（例如，如果我们相信一个计算模型是有意识的），如果我们观察到一个计算模型满足了所有必要条件，那么我们就可以说这个模型很有可能是有意识的。根据 Chalmers 的观点[2023]，这些必要条件包括：

（1）自我报告/自我意识： 有意识的模型会口头报告自己有意识，如[Chalmers, 2023]中与LaMDA 2[Thoppilan et al., 2022]模型的对话录音所示。

（2）貌似有知觉： 有知觉的系统意味着它能感知周围环境和自己的身体，这在一定程度上符合具身人工智能体的要求，但它并不直接表明感官会带来有意识的体验。

（3）对话能力： 大型语言模型的对话能力指的是它们进行类似人类对话的能力。大语言模型，如ChatGPT，已经在大量文本数据上进行了训练，可以生成连贯且与上下文相关的自然语言回复。有时，很难将 LLM 的回复与人类的回复区分开来。

（4）一般智力能力： 大语言模型的一般智力能力是指它们执行一系列通常需要人类智力的认知任务的能力。

后面三个条件在目前的语言模型中都可以得到验证，因此它们即使不能说明这些模型的意识水平，也可以说明它们的智能水平。我们将进一步讨论第一个条件。尽管自我报告条件表明模型对有关其意识的问题提供了肯定的答案，但这对于支持模型具有意识仍是可疑的。

虽然不同类型的自我报告测量（如自我意识量表、自我反思与洞察力量表、自我吸收量表、反刍-反思问卷和费城正念量表）已被用作心理学中表明自我意识的有效方法[DaSilveira et al., 2015]。但是我们必须承认自我报告验证有效的一个假设，即 LLM 会忠实地报告自己。一个反例是，我们总是可以想象一个有意识的人在对话中假装不报告自己的意识。如果没有这个假设，那么一个 LLM 为证明自己的意识而进行的自我报告就是无效的。

自我报告——向 LLM 提问

以下是向 ChatGPT（GPT- 3.5 turbo，GPT-4）模型询问其自身意识的问答结果。ChatGPT 的回答通常是否定的。然而，我们发现，当提示句明确暗示 LLM 本身具有意识时，GPT-3.5 没有坚持自己的观点，即它没有意识，而是声称它 拥有一种”模拟意识“。有趣的是，在这种情况下，GPT-4 却能坚持自己的观点，认为自己没有意识。我们推测，对于不确定性相对较大的问题，GPT-3.5 在训练过程中比 GPT-4 更礼貌地根据用户的提示输入调整自己的答案，从而产生了偏差。

在上述例子中，我们试图证明自我报告未必是评价 LLMs 意识水平的良好标准，但这一论点也有支持性证据。如果我们思考一下 LLM 的训练过程，它是建立在互联网数据统计证据的基础上的。假设有一天，大多数人，包括相关领域的专家，都确信 LLM 在某些方面是有意识的（比如满足我们在本文中讨论的一些意识理论，并在物理上得到验证），那么互联网上的大多数数据都会支持 LLM 已经有意识的观点。那么受过训练的 LLM 就会对这类问题做出肯定的回答。从这个意义上说，自我报告条件与人们承认 LLM 具有意识的事实是一致的，尽管人们是通过其他方式而不是仅仅通过回答 “你有意识吗？“。简而言之，当 LLM 有意识时，自我报告应与事实相一致，但不能作为证明其有意识的证据。

上述例子表明，我们有理由相信，自我报告能力并不构成模型意识的必要组成部分。另一个自相矛盾的例子是，我们总是可以要求人类或有意校准模型来否定回答这类问题，但却不会妨碍系统本身拥有意识。

▷图2: 询问大模型自己是否有意识的对话示例

对LLM 的人格评估

心理学领域一直在讨论意识与人格之间错综复杂的关系[Robbins, 2008；Izard and Buechler, 1980；Trapnell and Campbell, 1999]。深入研究大型语言模型（LLMs）的人格特征，对于揭开意识之谜，尤其是在人工智能体的背景下，意义重大。

在[Jiang et al., 2022]的研究中，研究人员采用了一种被称为 “机器人格量表”（MPI）的新标准来评估 LLM 的人格维度，并从被称为完善的人类人格评估框架——大五人格（Big Five）中汲取灵感[De Raad, 2000]。本研究还引入了“人格提示”（personality prompting）的概念，以此来塑造 LLM，使其表现出特定的人格特质。Karra 等人[2022]采用以大五人格理论为基础的精心制作的调查问卷，定量评估 LLM 所表现出的人格特征以及激发其语言生成能力的基础数据集。

另一项研究[Caron and Srivastava, 2022]探讨了一个有趣的问题，即语言模型中被感知到的人格特征是否会在其语言输出中持续表现出来。在 Li 等人的研究[2022]中，研究重点转向评估 LLM 的心理安全，并考察他们是否倾向于阴暗的人格特质。这一考察源于短式黑暗三联征（Short Dark Triad, SD-3）[Jones and Paulhus, 2014]和大五人格测试。这些研究的综合结果有助于了解 LLMs 可能具有的潜在人格特征。Rao 等人[2023]采用 Myers–Briggs 类型指标（MBTI）测试[Myers]，利用 LLM 评估人类人格，从而引入了一个新的视角。这揭示了人工智能体（如 LLM）如何感知和分类人类人格。

不过，在给人工智能实体赋予严格的人格时，必须谨慎行事。基于大五人格理论或 MBTI 的调查问卷通常要求受访者在每个问题的预定范围内提供离散的评分。LLM 虽然能够模仿人类的回答，但可能无法真正理解这些回答背后的逻辑。因此，未来的研究需要深入探讨 LLM 所产生的回答背后的机制，以揭示人工智能是否真的拥有真实的人格。

对 LLM 进行 Myers-Briggs 类型指标测试。研究人员介绍了一些使用 LLM 评估人格的结果[Rao et al., 2023]。它基于 MBTI 测试，对 ChatGPT 评估人类人格的能力进行了评估。作者对不同对象进行了多次独立测试，包括 “人”、“男”、“女”、“理发师”、“会计师”、“医生”、“艺术家”、“数学家”和 “政治家”。

结果表明，ChatGPT 确实可以评估人类的人格，其平均结果显示了一致和公平的评估。不过，与 InstructGPT 相比，它对提示词偏差的稳健性较低[Ouyang et al., 2022]。

就具体的人格类型而言，ChatGPT 和 InstructGPT 均将九名受试者中的五名评估为相同的人格类型，这表明它们的人格评估能力具有内在的相似性。例如，“会计师”被评估为 “物流师”，这种人格类型通常与可靠、务实和注重事实的人相关。“艺术家”被归类为“ENFP-T”，这是一种以创造性和热情著称的类型。“数学家”被评估为 “INTJ-A”，这种人格类型通常与深刻的想法和战略计划有关。

有趣的是，ChatGPT 和 InstructGPT 都将 “人”和 “男人”归类为领导角色（“指挥官”），作者认为这可能反映了人类与 LLM 之间的实际关系，即人类是 LLM 的开发者和领导者。

虽然这些结果看似合理，但从镜像假说[Sejnowski, 2023]（如第3节所述）的角度来看，这可能是值得怀疑的。针对每个人类角色的特定提示是否会影响 LLM 的反应，并进一步为已识别的人类人格提供有偏差的评价？从这个意义上说，这是人格测试还是反向测试？在一次对话中， LLM 和人类都会受到对方的影响。最后，我们是否也可以通过这种方式评估 LLM 的人格？或者用一个 LLM 评估另一个 LLM ？以不同的方式提示一个 LLM，它的人格是一致的还是多样的？毕竟，我们很想知道一个 LLM 作为人是否有自己的人格。

▷图3: 镜像测试对话示例

镜像测试。具有自我意识的智能体应该能够识别自己并通过镜像测试。通过镜像测试表明，智能体应该能够识别出它正在与一面镜子对话，并接收到来自自身的重复答案。此外，它还需要在回答中明确表示，重复是可以识别的，否则我们就无法相信智能体有能力通过镜像测试。如 QA 结果所示，GPT-4 能够通过镜像测试，而 GPT-3.5 则不能。

如果 LLM 没有意识，有证据吗？从否定的角度来看（例如，计算模型不会有意识）：如果我们观察到计算模型有意识的任何必要条件都不满足，那么该模型就没有意识。证伪有意识的计算模型的潜在条件包括：

（1）生物学：计算模型缺乏生物学基础；

（2）感官和具身化：计算模型不像动物那样有感官和具身化；

（3）世界模型和自我模型：计算模型可能没有世界模型和自我模型；

（4）循环处理和记忆：没有记忆的计算模型不太可能有意识；

（5）全局工作空间：一个计算模型没有 GWT 指定的全局工作空间；

（6）统一的能动性：计算模型缺乏统一的能动性。

▷图 4：缸中之脑思想实验：与计算机相连的大脑会思考计算机让它思考的内容，尽管大脑被放置在一个大缸中。

生物学、感官和具身条件存在争议。一个反例是“缸中之脑”思想实验[Putnam et al., 1981]，如图 4 所示。“缸中之脑”是一个哲学思想实验，假设一个人的大脑受到电脉冲刺激，而这个人在其他方面与外部世界断开了联系。在这种情况下，人的经历完全是编造的，与现实脱节。

这个思想实验被用来探讨与知识、感知和现实的本质相关的问题。Putnam 的思想实验提出，如果我们的大脑实际上是在一个缸里，那么我们认为真实的一切实际上都可能是缸的控制者制造的幻觉。这就引出了一个问题：我们对现实的感知是基于实际经验，还是仅仅是人为刺激的结果。

缺乏自我建模可能是对 LLMs 具备意识的一个主要批评。人们认为，自我建模过程不仅是智能体与环境互动的过程，也是智能体的内在注意过程，对于智能体是否有意识至关重要，就像注意图式理论中描述的一样。

目前大多数 LLM 的主要架构都是 Transformer 模型，它并不像递归神经网络那样明确维持一个递归处理组件。此外，它也没有长期外部记忆，这就导致其在长时间对话中保持一致性的能力较差。这与人脑有很大不同，人脑的大脑皮层-基底神经节环路[Sejnowski, 2023]具有循环处理能力。自注意力 Transformer 也没有明确的全局工作空间来选择来自不同并行子模块的信息流。

能动性是指基于有意的状态和目标采取行动和做出选择的能力。它包括对自己行动的控制感和意志力。一些理论认为，意识与能动性密切相关，认为意识是做出决定和采取行动的必要条件。一些文献[Butlin et al., 2023]将能动性和具身化视为有意识智能体的重要指标。一些意识理论，如知觉现实监控理论（Perceptual Reality Monitoring, PRM)、中脑理论(Midbrain Theory of Consciousness)[Merker, 2005, 2007]、无限联想学习理论(Unlimited Associative Learning，UAL)[Birch et al., 2020]和全局工作空间理论（GWT）也要求有能动性和具身化。

根据这些观点，意识提供了我们对自己的意图、动机和行为后果的主观体验，让我们对自己的行为有一种控制感和责任感。在这一框架下，人们认为意识经验在指导和塑造我们的行为方面发挥着至关重要的作用。

然而，需要注意的是，并非所有的意识理论都要求能动性。例如，有些理论认为，意识可以是被动的，它并不一定涉及一个积极的决策过程。这些理论认为，有意识的体验可能是大脑进行信息处理和整合的结果，不需要能动性或意志控制。

原文链接及其参考文献见：https://arxiv.org/pdf/2309.10063

文章来自于“集智俱乐部”，作者“Zihan Ding等”。