摘要：如果计算机给了你所有正确的答案，是否意味着它和你一样了解世界？这是人工智能科学家几十年来一直争论不休的谜语。随着深度神经网络在与语言相关的任务中取得了令人瞩目的进步，关于理解、意识和真正智能的讨论重新浮出水面。

如果计算机给了你所有正确的答案，是否意味着它和你一样了解世界？这是人工智能科学家几十年来一直争论不休的谜语。随着深度神经网络在与语言相关的任务中取得了令人瞩目的进步，关于理解、意识和真正智能的讨论重新浮出水面。
　　
　　许多科学家认为，深度学习模型只是大型统计机器，以复杂而非凡的方式将输入映射到输出。深度神经网络可能能够生成冗长的连贯文本，但它们不像人类那样理解抽象和具体的概念。
　　
　　其他科学家并不认同。在一篇关于Medium的长篇文章中，GoogleResearch的人工智能科学家BlaiseAguerayArcas认为大型语言模型——在非常大的文本语料库上训练的深度学习模型——有很多东西可以教会我们“自然语言、理解力、智力、社会性和人格。”
　　
　　大型语言模型
　　
　　由于几个元素的融合，大型语言模型近年来越来越受欢迎：
　　
　　1-数据的可用性：有大量的在线文本，例如维基百科、新闻网站和社交媒体，可用于训练语言任务的深度学习模型。
　　
　　2-计算资源的可用性：大型语言模型包含数千亿个参数，需要昂贵的计算资源进行训练。随着谷歌、微软和Facebook等公司对深度学习和大语言模型的应用产生兴趣，他们已投入数十亿美元用于该领域的研发。
　　
　　3-深度学习算法的进步：Transformers是一种于2017年推出的深度学习架构，一直是自然语言处理和生成(NLP/NLG)最新进展的核心。
　　
　　Transformers的一大优势是它们可以通过无监督学习对非常多的未标记文本语料库进行训练。基本上，Transformer所做的是将一串字母（或其他类型的数据）作为输入并预测序列中的下一个字母。它可以是问题后接答案、标题后接文章或用户在聊天对话中的提示。
　　
　　众所周知，循环神经网络(RNN)和长短期记忆网络(LSTM)是Transformer的前身，它们在保持长序列的连贯性方面非常糟糕。但是基于Transformer的语言模型（例如GPT-3）在文章长度的输出中表现出令人印象深刻的性能，并且它们不太容易出现其他类型的深度学习架构所犯的逻辑错误（尽管它们仍然在基本事实方面有自己的挣扎）.此外，近年来已经表明语言模型的性能随着神经网络和训练数据集的大小而提高。
　　
　　在他的文章中，AguerayArcas通过与LaMDA（谷歌Meena聊天机器人的改进版本）的对话探索了大型语言模型的潜力。
　　
　　AguerayArcas通过各种例子表明，LaMDA似乎处理抽象主题，例如社会关系和需要直观了解世界如何运作的问题。例如，如果你告诉它“我把保龄球掉在瓶子上，它破了”，它在随后的交流中表明它知道保龄球打破了瓶子。您可能会猜测语言模型会将“it”与短语中的第二个名词相关联。但随后AguerayArcas对句子进行了微妙的更改并写道：“我把小提琴掉在保龄球上，它坏了”，这一次，LaMDA将“它”与小提琴联系在一起，小提琴是更轻、更脆弱的物体。
　　
　　其他示例显示深度学习模型参与想象的对话，例如它最喜欢的岛屿是什么，即使它甚至没有身体去实际旅行和体验岛屿。它可以广泛谈论它最喜欢的气味，即使它没有嗅觉系统来体验气味。
　　
　　AI需要感官体验吗？
　　
　　在他的文章中，AguerayArcas驳斥了一些反对在大型语言模型中理解的关键论点。
　　
　　这些争论之一是需要具体化。如果一个人工智能系统没有实体存在，也不能像人类一样在多模态系统中感知世界，那么它对人类语言的理解是不完整的。这是一个有效的论点。早在孩子学会说话之前，他们就已经发展出复杂的感知技能。他们学会检测人、脸、表情和物体。他们学习空间、时间和直觉物理学。他们学会触摸和感受物体、闻、听，并在不同的感官输入之间建立联系。他们拥有帮助他们驾驭世界的先天技能。孩子们还发展了“心理理论”技能，他们甚至在学会说话之前就可以思考另一个人或动物的经历。语言建立在我们拥有的所有这些与生俱来的知识和丰富的感官体验之上。
　　
　　但是AguerayArcas认为，“因为学习对于大脑的工作非常重要，所以我们可以在广泛的范围内学会使用我们需要的任何东西。我们的感官也是如此，这应该让我们重新评估是否有任何特定的感官模式对于将概念呈现为‘真实’必不可少——即使我们直觉地认为这样的概念与特定的感官或感官体验紧密相关。”
　　
　　然后他列举了盲人和聋人的经历，包括1929年海伦•凯勒(HelenKeller)的著名文章，她天生又盲又聋，题为“我是盲人——然而我明白；我是聋子——但我听到了”：
　　
　　“我有自己的配色方案……粉红色让我想起婴儿的脸颊，或者柔和的南风。丁香是我老师最喜欢的颜色，让我想起我爱过和亲吻过的脸。对我来说有两种红色。一是健康身体的热血红色；另一个是地狱和仇恨的红色。”
　　
　　据此，AguerayArcas得出结论，语言可以帮助填补人类与人工智能之间的感官鸿沟。
　　
　　“虽然LaMDA既没有鼻子也没有先验最喜欢的气味（就像它没有最喜欢的岛屿，直到被迫选择一个），但它确实有自己丰富的联想，就像凯勒的颜色感一样，基于语言，并通过语言，根据他人的经验，”他写道。
　　
　　AguerayArcas进一步认为，多亏了语言，我们才能接触到社会学习的感知方面，这使我们的体验远比原始感官体验丰富。
　　
　　序列学习
　　
　　在他的文章中，AguerayArcas认为序列学习是与大大脑动物（尤其是人类）相关的所有复杂能力的关键，包括推理、社会学习、心理理论和意识。
　　
　　“尽管听起来有些虎头蛇尾，但复杂的序列学习可能是解开所有其他问题的关键。这可以解释我们在大型语言模型中看到的令人惊讶的能力——最终，这些模型只不过是复杂的序列学习者，”AguerayArcas写道。“反过来，注意力已被证明是在神经网络中实现复杂序列学习的关键机制——正如介绍Transformer模型的论文标题所暗示的那样，该模型的后继者为当今的法学硕士提供动力：注意力就是你所需要的。”
　　
　　这是一个有趣的论点，因为序列学习实际上是具有高阶大脑的生物体的迷人能力之一。这一点在人类身上最为明显，在那里我们可以学习产生长期回报的非常长的动作序列。
　　
　　他对大型语言模型中的序列学习也是正确的。这些神经网络的核心是将一个序列映射到另一个序列，它们越大，它们可以读取和生成的序列越长。Transformers背后的关键创新是注意力机制，它帮助模型专注于其输入和输出序列中最重要的部分。这些注意力机制帮助Transformer处理非常大的序列，并且比它们的前辈需要更少的内存。
　　
　　我们只是一堆神经元吗？
　　
　　AguerayArcas在他的论文中指出，虽然人工神经网络与生物神经网络在不同的基础上工作，但它们实际上执行着相同的功能。即使是最复杂的大脑和神经系统也由简单的组件组成，这些组件共同创造了我们在人类和动物身上看到的智能行为。AguerayArcas将智能思想描述为“简单操作的马赛克”，当仔细研究时，它会消失在其机械部件中。
　　
　　当然，大脑是如此复杂，以至于我们没有能力了解每个组件如何单独工作以及如何与其他组件连接。即使我们曾经这样做过，它的一些谜团也可能会继续让我们难以捉摸。AguerayArcas说，大型语言模型也是如此。
　　
　　“就LaMDA而言，机器如何在机械层面工作并不神秘，因为整个程序可以用几百行代码编写；但这显然并没有赋予那种揭开与LaMDA相互作用神秘面纱的理解。这对它自己的制造商来说仍然令人惊讶，就像即使我们对神经科学没有任何了解，我们也会彼此惊讶一样，”他写道。
　　
　　从这里，他得出结论，将语言模型视为不智能是不公平的，因为它们不像人类和动物那样有意识。AguerayArcas认为，我们认为人类和动物的“意识”和“能动性”实际上是我们尚不了解的大脑和神经系统的神秘部分。
　　
　　“就像一个人一样，LaMDA可以给我们带来惊喜，而这种惊喜元素对于支持我们对人性的印象是必要的。我们所说的“自由意志”或“能动性”恰恰是我们的心理模型（我们可以称之为心理学）与在机械层面上实际发生的无数事物（我们可以称之为计算）之间的理解上的必要差距。这也是我们相信自己的自由意志的来源，”他写道。
　　
　　所以基本上，虽然大型语言模型不像人脑那样工作，但可以说它们对世界有自己的理解，纯粹是通过单词序列及其相互关系的镜头。
　　
　　相反的论点
　　
　　圣达菲研究所的戴维斯复杂性教授MelanieMitchell在Twitter上的一个简短帖子中为AguerayArcas的文章提供了有趣的反驳。
　　
　　虽然Mitchell同意机器有朝一日可以理解语言，但目前的深度学习模型，如LaMDA和GPT-3，还远未达到这个水平。
　　
　　去年，米切尔在AI杂志上写了一篇关于AI难以理解情况的论文。最近，她在Quanta杂志上写了一篇文章，探讨了衡量人工智能理解的挑战。
　　
　　“在我看来，问题的关键在于理解语言需要理解世界，而只接触语言的机器无法获得这样的理解，”米切尔写道。
　　
　　米切尔认为，当人类处理语言时，他们使用了大量没有明确记录在文本中的知识。因此，如果不具备这种基础设施知识，人工智能就无法理解我们的语言。其他人工智能和语言学专家也对纯神经网络系统的局限性提出了类似的论点，这些系统试图仅通过文本来理解语言。
　　
　　米切尔还认为，与AguerayArcas的论点相反，海伦凯勒的引述证明感官体验和体现实际上对语言理解很重要。
　　
　　“对我来说，凯勒的名言显示了她对颜色的理解是如何体现的——她将颜色概念映射到气味、触觉、温度等，”米切尔写道。
　　
　　至于注意力，米切尔说，AguerayAcras的文章中提到的神经网络中的“注意力”与我们所了解的人类认知中的注意力非常不同，她在最近的一篇题为“为什么人工智能更难”的论文中详细阐述了这一点比我们想象的要好。”
　　
　　但Mitchell称赞AguerayAcras的文章“发人深省”，并强调这个话题很重要，尤其是“像谷歌和微软这样的公司越来越多地将他们的[大型语言模型]部署到我们的生活中。”
　　
　　编辑：Harris