摘要：人工智能系统可以模仿人类智能的某些方面，并取得令人印象深刻的结果，包括检测物体、导航环境、下棋，甚至生成文本。但是克隆人类行为也有其局限性。如果没有思想作为行动的后盾，人工智能系统在面对新情况时可能会变得脆弱，并犯不可预测的错误。

   人工智能系统可以模仿人类智能的某些方面，并取得令人印象深刻的结果，包括检测物体、导航环境、下棋，甚至生成文本。但是克隆人类行为也有其局限性。如果没有思想作为行动的后盾，人工智能系统在面对新情况时可能会变得脆弱，并犯不可预测的错误。
　　
　　英属哥伦比亚大学和矢量研究所的科学家最近的一个项目展示了让人工智能系统像人类一样思考的好处。他们提出了一种名为“思想克隆”的技术，可以同时训练人工智能的思想和行动。
　　
　　思想克隆可以使深度学习模型为其行为生成一种推理过程，并将该推理传递给人类操作员。思想克隆有很多好处，包括培训效率、故障排除和错误修复，以及防止有害行为。
　　
　　行为克隆vs思想克隆
　　
　　许多深度学习系统都是在人类生成的数据上进行训练的。例如，训练数据可以是国际象棋游戏中的走法列表，也可以是策略游戏中的动作序列。它可以是现实世界的行为，比如完成仓库中的任务。通过在一个足够大的数据集上进行训练，人工智能代理将能够在该任务上创建一个人类行为模型。
　　
　　克隆行为
　　
　　但是，虽然该模型可以学习模仿人类行为并在许多任务中达到相同的结果，但它不一定能学习这些行为背后的推理。如果没有思维过程，人工智能代理将无法将学习到的动作推广到新的设置中。因此，它将需要一个更大的训练数据集，包括所有可能的场景。面对看不见的边缘情况，它仍然是不可预测的。
　　
　　思想克隆背后的假设是，如果你训练一个模型的行为和相应的思想，那么这个模型将学习行为和目标之间的正确联系。它还将能够生成并传达其行为背后的推理。
　　
　　为了在ML模型中实现思想克隆，您需要在训练期间为模型提供多个信息流。一种是行动观察，例如玩家在游戏中所执行的移动。第二种是思想流，比如动作背后的解释。例如，在即时战略游戏中，AI观察到玩家在桥前移动了几个单位。同时，它会收到一个文本解释，上面写着“阻止敌军过桥”之类的内容。
　　
　　认为克隆
　　
　　这种方法有几个好处。首先，人工智能代理将学习得更快，因为他们需要更少的例子来弄清楚为什么某个动作很重要。其次，他们会表现得更好，因为他们能够将同样的推理推广到看不见的情况。第三，他们将通过表达他们所采取的每一个行动背后的原因来提高安全性。例如，如果AI代理正在追求正确的目标，但打算采取不安全的行动(例如，为了按时到达目的地而闯红灯)，那么它可以在造成损害之前被阻止。因此，如果它出于错误的原因采取了正确的行动，它可以被引导到正确的方向上。
　　
　　教人工智能模仿人类思维
　　
　　研究人员提出了一个由两部分组成的深度学习架构，试图完成一项任务。“上层组件”处理一系列想法和环境观察，并试图预测下一个有助于模型实现其目标的想法。“下层组件”接收环境观察和上层组件的输出，并尝试预测要采取的正确行动。
　　
　　模型重复这个过程，并使用每个阶段的结果作为下一阶段的输入。在训练期间，模型可以访问人类产生的思想和行动序列。它将这些信息作为基本事实来调整参数，并将思想和行动预测的损失降至最低。经过训练的模型应该能够为看不见的任务生成正确的思想和行动序列。
　　
　　该模型使用转换器、长短期记忆(LSTM)网络和视觉语言模型来处理文本命令和视觉数据，将它们融合在一起，并跨多个步骤跟踪嵌入。研究人员在GitHub上发布了他们的结果，包括模型权重，训练模型的代码，以及生成训练和测试数据的代码。(在人工智能实验室减少分享并对模型细节保密的背景下，这是一个有希望的进展。)
　　
　　思想克隆架构(来源:arXiv)
　　
　　在他们的实验中，作者使用了BabyAI，这是一个网格世界平台，人工智能代理必须完成不同的任务。代理可以执行各种操作，如捡起物体、开门和导航房间。BabyAI平台的优势在于，它可以通过编程方式生成世界、任务、解决方案和叙述来训练AI系统。研究人员创建了一个包含100万个场景的数据集来训练他们的思维克隆模型。
　　
　　为了测试他们的技术，研究人员创建了两个不同的模型。第一个被训练为纯粹的行为克隆，这意味着它只接受环境观察。第二个是思想克隆训练，接收行为数据和关于每个动作背后原因的明文解释流。
　　
　　结果表明，思想克隆明显优于行为克隆，并且收敛速度更快，因为它需要更少的训练样本来推广到未见过的样本。他们的实验还表明，思想克隆在非分布(out-distribution,OOD)示例(与模型训练示例非常不同的任务)中的表现也优于行为克隆。
　　
　　思想克隆还使研究人员能够更好地理解人工智能代理的行为，因为每一步，它都用自然语言进行规划和推理。事实上，这种可解释性特征使研究人员能够在训练期间调查模型的一些早期错误，并迅速调整他们的训练制度，使其朝着正确的方向发展。
　　
　　考虑在BabyAI环境下克隆(来源:arXiv)
　　
　　在安全方面，研究人员开发了一种叫做预防犯罪干预的技术，通过检查模型的思维流来自动检测和防止危险行为。他们观察到，在他们的实验环境中，犯罪预防干预“几乎完全消除了所有不安全行为，从而展示了TC代理在提高人工智能安全性方面的巨大潜力。”
　　
　　将思想克隆应用于现实世界的人工智能
　　
　　认为克隆是人工智能研究和发展的一个有趣和有前途的方向。它适用于其他试图创建具身和多模态深度学习模型的活动，例如谷歌的PaLM-E和DeepMind的Gato。人类智能比目前的人工智能强大得多的部分原因是我们能够同时吸收和处理不同形式的信息。实验表明，多模态人工智能系统的鲁棒性和效率要高得多。
　　
　　然而，思想克隆并非没有挑战。首先，BabyAI环境简单且具有确定性，这使得深度学习模型更容易了解其细微差别和复杂性。现实世界更混乱，更不可预测，也更复杂。
　　
　　这种方法的另一个挑战是创建训练数据。在执行任务时，人们不一定要叙述他们的每一个动作。我们共有的知识和相似的生理特征，使我们不需要明确地说出我们的每一个意图。作者提出了一种解决方案，可以使用YouTube视频，让人们在执行任务时进行解释。然而，即便如此，人类的行为也充满了无法用纯文本解释的隐含原因。
　　
　　思想克隆在互联网规模的数据和复杂问题上的表现还有待观察。但正如该论文的作者所说，它为“人工智能、人工智能安全性和可解释性的科学研究”创造了新的途径。
　　
　　编辑：Harris