AI具有意识吗？（来源：Science 杂志网站，2025年9月11日发布）

译/丁祖潘

编者按：人类是否可以设计出具有意识的AI？这个问题最终指向所谓人工智能的“圣杯”——通用人工智能（Artificial General Intelligence, AGI）是否可以实现。不过，首先摆在人们面前的问题可能是，如何理解意识的本质：意识究竟是人脑独有的生物学特征，还是依靠算法进行操控的信息？后者是计算机功能主义者的主张。本文作者介绍了计算机功能主义的意识理论，指出随着该理论不断提出新解释，未来科学界和公众会有越来越多的人相信AI具有意识，即便这个问题始终存在争议。另一方面，作者也担忧，无论是目前的AI技术本身还是现代社会的伦理、法律和制度框架，都还未预备好接纳拥有意识的AI系统。或许规避此种风险的一种做法，就是从设计之初把AI定位为有用的工具，而非有意识的智能体。

设计出具有意识的人工智能（AI）系统，是否已指日可待？科学家、哲学家和公众对此意见不一。一些人认为，意识是大脑特有的、内在的生物学属性。这似乎排除了AI具有意识的可能性。另一些人则主张，意识仅仅取决于通过某种算法对信息进行操控，而不论执行这些计算的系统是由神经元、硅或任何其他物理基质（substrate）构成。这就是所谓的计算机功能主义（computational functionalism）。本文不会就AI的意识问题给出明确答案，相反，我们将思考两个相关问题。第一，随着AI技术不断进步，科学界和公众对AI具有意识的信念很可能会如何演变？第二，将通常与意识生命体（conscious beings）相关联的道德地位和自我保存这一自然目标，投射到未来的AI系统，存在哪些风险？

计算机功能主义可能对AI带来深刻影响。随着该领域不断进步，AI系统复制了越来越多支撑人类认知的复杂机制，这些系统也可能实现对于意识而言所必需的功能。虽然未来科学可能会推翻计算机功能主义，提出其他更具说服力的理论，但目前，计算机功能主义仍被认为是可行的。因此，AI能拥有意识的可能性也未被排除。

过去几十年来，神经科学领域的技术进步已使我们清楚看到：那些通常可由受试者报告的意识状态，具有特定的、可观测的神经活动特征，而功能主义理论正是以这些特征为基础来构建的。这类理论中有不少已得到大量实验数据的支持，并且可用于对AI的相关问题做出有理据的判断。最近一项研究应用这种方法，为许多主流功能主义意识理论确定了一份“指标”清单。[1] 按照某一理论，如果该理论成立，那么与之相关的指标，实际上对应着一组计算属性。这些属性被认为是系统拥有意识的充分必要条件：缺一不可，齐全则足。值得注意的是，这些指标已足够具体，可在现代AI系统中评估其存在与否。该研究的核心观点是：如果这些理论在某种程度上值得采信（许多研究者也确实支持这些观点），那么一个AI系统满足的指标越多，我们就越倾向于认为它拥有意识。

尽管已有大量人工智能模型问世，但就现有主流意识理论而言，很可能还没有任何一个系统能够达到其所开列的全部标准。[2] 不过，该研究也认为，要构建出一个完全符合这些标准的系统，原则上并无不可逾越的障碍。事实上，现代人工智能所拥有的工具库十分丰富：研究表明，神经网络能够实现注意力机制、递归结构、信息瓶颈、预测性建模、世界建模、智能体行为、心智理论，以及主流功能主义意识理论所倚重的其他运算组件。随着人工智能的发展，我们有充分理由相信它将满足更多上述指标，其原因至关重要：许多理论都主张，意识对于智能而言具有重要的功能意义。通常与意识相关联的计算功能，从学习型智能体的视角看，可能会为其提供优势。[3] 推理、规划、高效整合新知、适度校准的置信判断（calibrated confidence），以及抽象思维，在许多理论看来，都离不开意识的作用。AI研究者在处理类似问题时，通常会借鉴意识理论，这是相当普遍的做法。[4]

尽管许多人可能会因为某个AI系统符合主流意识理论所设定的功能标准而认定其具有意识，但其他人可能依然心存疑虑。尤其是一些哲学家区分了意识的“容易问题”（easy problem）和“困难问题”（hard problem）：前者是指找出大脑中在执行看似需要意识的任务时活跃的区域，后者则是指仅凭功能或计算的原理来解释主观体验是如何产生的。[5] 然而，这些被称为“解释鸿沟”的直觉（也即意识研究中物理描述[比如大脑中神经元如何放电，信息如何传递]与主观感受之间似乎存在不可跨越的鸿沟——译者注），大多建立在思想实验的基础上，而这些思想实验提出的难题，科学或许有可能最终将其化解。[6] 例如，注意图式理论（Attention Schema Theory of consciousness）认为，大脑建立起一个对神经注意机制的内部模型，而这个内部模型恰恰就是人们所说的主观意识。重点在于，这个内部模型的信息并不需要逻辑上的一致性；它只是大脑编织的一个有用的“叙事”（story），而这个叙事可能充斥各种矛盾，正是这些矛盾使得我们相信意识有一个“困难问题”。[7]

主观体验中那些显得神秘莫测、引发“困难问题”的特征，能否在功能主义的框架内得到解释呢？[8] 人们往往有一种直觉上的感受：主观体验一方面充满了丰富的内容与意义，另一方面在根本上是无法言传的。它不像其他自然现象那样可以被客观描述，好比人们可以定义重力是什么，却无法完全道出“红色”在他们内心所唤起的东西。尤其是这种“不可言说”的问题，使得意识体验似乎根本不可能用信息和功能来解释。一种理论[9]认为，主观体验之所以具有丰富性、不可言说性，以及个人性和瞬时性等特征，原因在于意识体验出现时大脑内部所呈现的收缩性神经动态过程（contractive neural dynamics）及其稳定状态。[10] 从数学层面看，收缩动力学推动神经活动的轨迹朝向“吸引子”（attractors），而所谓“吸引子”，就是那些在时间上趋于稳定的神经活动模式。在数学上，这些动力学机制将整个可能的神经活动向量（vectors）划分成若干离散的区域，每个区域分别对应一个吸引子及其所属的吸引盆（basin of attraction）。由此提出的假设是，通过离散的语言所传达的内容，可能仅仅反映了吸引子的身份标识，即用少量比特信息即可将其与其他吸引子区分开来，却无法呈现该吸引子所对应的神经状态的完整丰富（这包括近10¹¹个神经放电频率），也无法传达那通往该吸引子的瞬时轨迹。在吸引子动力学的理论框架中，主观体验的丰富性、瞬时性和不可言说性得到了系统解释，不再构成理论上的障碍。也就是说，意识的丰富性源于大脑中构成吸引状态及其相关轨迹的无数神经元；而不可言说性则在于，用语言做的口头报告，仅仅是为这些吸引子贴上的指示性标签（indexical labels）。这些标签无法捕捉到吸引子高维度的意义和关联，这些高维意义和关联既与吸引子本身的向量状态有关，也与每个人大脑中独特的循环突触权重有关。

这个理论是否能让很多人相信没有所谓的“困难问题”，其实并不重要；关键之处在于，这类性质的新解释层出不穷，终将说服一部分人。科学发展整体的历史轨迹早已说明了这一点。随着对大脑及其一般意义上的智能不断深入了解，意识的哲学难题很可能对越来越多的人来说不再构成困扰；随之而来的是，科学界将日益倾向于接受人工系统拥有意识的可能性。事实上，目前科学界尚未形成共识，但近期一项研究[11]发现，大多数受访公众已经相信大语言模型可能具有意识，因为它们表现出类似人类的智能体（agentic）行为。

如果人类社会真的把AI系统当作有意识的存在，会产生什么现实后果？这样的社会很可能会倾向于赋予它们道德地位，或类似于人权的权利。且不论这种做法是否正确，现有的制度和法律体系都得大改，而具体如何改，又会冒出一大堆难题。[12] 比如，AI不像人类那样会死亡且软弱。软件和记忆数据可以被复制，实现无限期存续。然而，人类社会中支撑社会契约的很多原则，正是建立在人必有一死、生命脆弱这一基础之上的。同样不清楚的是，当某些“个体”（persons）在智力上远超人类（此时平等究竟指的是什么呢？），而且它们的资源需求与人类天差地别（此时又该怎么判定何为正义呢？）时，支撑许多社会规范和政治制度的平等与正义观念，究竟如何适用？此外，如果一群由AI驱动的计算机彼此共享信息、目标一致、协同行动，而且这个群体还能随着计算资源的增加而任意扩张，那么再把AI系统当作个体看待，可能就有失偏颇了。如果有人因为AI看起来像是具有意识，就把一切生命体所共有的自我保存目标赋予AI，就会引发一些更为具体的担忧。我们完全有理由担心，任何包含自我保存的目标函数（objective function），不论是作为直接目标还是实现其他目标的中间手段，一旦被最大化，都将导致AI采取行动以确保人类永远无法将其关闭。一个以自我保存为目标且具备足够智能的AI，在预见到人类可能将其关闭的情况下，自然会发展出控制人类或消灭人类的子目标。[13] 还有一个担心是，如果法律体系经过修订，承认具有自我保存能力的AI也享有类似“生命、自由和追求幸福”的权利，那么人类将面临制造出一堆竞争对手，自己的权利反而可能受到威胁这样的风险。出于人类安全的考虑，可能会建议关闭某类系统，但如果这些系统享有生存权，那么在法律允许的范围内可操作的空间可能就非常有限。[14] 可以拿核裁军（nuclear disarmament）打个比方：就算没有人主张核弹本身有权保持完好可用，裁军谈判就已经足够复杂了。

按照目前AI研究的发展趋势，社会可能正在走向这样一个未来：到时候，不管是普通大众还是科学界，都会有相当多的人相信AI是有意识的。就目前的情况而言，AI科学尚不知如何构建能够与人类价值观和规范保持一致的系统，而社会也没有将看似有意识的AI纳入其中所需的法律和伦理框架。但是这条路并非非走不可。在对这些问题有更深入的理解之前，人类可以从一开始就避免把自己推到那种危险境地，转而构建那些无论是看起来还是功能上都更像有用的工具、而非有意识的智能体这样的AI系统。[15]

本文原题为Illusions of AI consciousness: The belief that AI is conscious is not without risk。见《科学》（Science）杂志第389卷第6765期，2025年9月11日发布于该刊网站。

（作者简介：约书亚·本吉奥，加拿大蒙特利尔大学计算机科学教授，LawZero联合创始人和科学总监。他同时也是魁北克人工智能研究所（Mila）的创始人兼科学顾问，全球人工智能与深度学习领域的领军人物之一，2018年图灵奖得主。

埃里克·埃尔莫尼诺，人工智能与计算神经科学研究者，Mila在读博士生，师从约书亚·本吉奥。）

---

[1] P. Butlin et al., arXiv:2308.08708 (2023).

[2] Ibid.

[3] A. Goyal, Y. Bengio, Proc. R. Soc. A Math. Phys. Eng. Sci. 478, 20210068 (2022).

[4] L. Piefke, A. Doerig, T. Kietzmann, S. Thorat, arXiv: 2402. 01056 (2024).

[5] D. J. Chalmers, J. Conscious. Stud. 2, 200 (1995).

[6] D. J. Chalmers, J. Conscious. Stud. 25, 6 (2018).

[7] M. S. A. Graziano, Consciousness and the Social Brain (Oxford Univ. Press, 2013).

[8] X. Ji et al., Neurosci. Conscious. 2024, niae 001 (2024).

[9] Ibid.

[10] 参见本文脚注8—11。

[11] C. Colombatto, S. M. Fleming, Neurosci. Conscious. 2024, niae 013 (2024).

[12] C. Shulman, N. Bostrom, “Sharing the World with Digital Minds” in Rethinking Moral Status, S. Clarke, H. Zohny, J. Savulescu, Eds. (Oxford Univ. Press, 2021), pp. 306-326.

[13] M. Cohen, Pessimistic Bayesianism for Conservative Optimization and Imitation, thesis, University of Oxford (2023).

[14] A. Birhane, J.van Dijk, “Robot Right? Let’s Talk about Human Welfare Instead” in Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (Association for Computing Machinery, 2020), pp. 207-213.

[15] Y. Bengio, “AI Scientists: Safe and Useful AI?” (7 May 2023); http://yoshuabengio. Org/2023/05/07/ai-scientists-safe-and-useful-ai/.

《世代》2026年春季号主题为“AI与人”。本刊所发布的文章涉及生活各方面，鼓励不同领域的研究和创作，盼望同道诸君不吝赐稿kosmoseditor@gmail.com，分享您的研究、观察和思考。来稿一经采用，将择期于《世代》网站kosmoschina.org和公号平台kosmos II发布，并支付稿酬。