在通往AGI(通用人工智能)的道路上，研究者面前总是有一个巨大的鸿沟，即人工智能对因果关系的理解。因果关系的推断对人类来说是一个非常复杂的问题。无论是不可避免的推理还是可能的推理，人类总能在复杂的关系中建立微妙的因果推理。不管对还是错，这种能力让人类变得更优越，成为站在生物链顶端的孤星。

想象一下，如果你带你的女儿去夏令营，在那里你会遇到一个成年女人和一个小女孩。你可能会得出这个女人是小女孩的母亲的结论。几个星期后，你在你住的附近的一家咖啡店里，你又见到了那个小女孩，但是这次她被一个成年男人带走了。根据这两个观察到的事实，你可以基本上推断出这个男人和女人有一定的关系。然而，无论是夫妻关系还是其他关系，都会涉及到更多的信息，比如男女的年龄、穿着感和孩子的亲密度。

在这种情况下，我们可以根据发生在很长时间和地点的事实关系做出相关的因果推论。我们把事物之间复杂关系中的这种推理称为“远距离推理”

人工智能能掌握这种能力吗？对于一些著名的人工智能技术，通过数据库很容易识别他们的脸。如果他们相关身份的知识图谱被再次给出，人工智能就能识别他们。然而，如果只给出上述事实场景(人工智能的独立图像)，而没有任何其他信息，人工智能能从图像描述的事实建立因果推理吗？

这一次，DeepMind的最新研究为人工智能提出了一个进行“远距离推理”的解决方案。最近，深度思维为ICLR 2020发表了一篇论文《MEMO：一种用于情景记忆灵活组合的深度网络》。本文主要提出了一种新的体系结构——MEMO，它可以增强现有深层神经网络体系结构的推理能力。MEMO具有远距离推理的能力，即它能发现记忆中多个事实之间的远距离关系。

MEMO实际上表现如何？一种新的深度神经网络MEMO对人工智能的发展有什么意义？这些问题仍然需要我们思考和回答。

为什么远程推理如此重要？

为了讨论远程推理的重要性，我们首先需要知道感知、记忆、命名、事实、判断、推理和行动的内涵和关系。历史学家尤瓦尔哈拉里在《人类简史》中提到“人类的想象能力”，即“人类想象不存在的事物的能力”，已经成为智人击败其他物种的决定性因素。但是他仍然简化了复杂问题的解释。

只要你仔细审视你的日常生活，我们几乎都是根据上述认知能力来思考和行动的。我们通过感官感知外部世界，形成感知，这只是时间和空间中的一些感知要素。然后，在被我们的大脑区分之后，我们命名我们特别注意的元素(大量其他信息退化成认知的背景)，从而形成一个事实。然后通过大脑的连接能力，命名被逻辑单词连接起来形成判断。然后，通过总结过去的经验和想象未来，我们形成相应的推理，并最终形成基于此的计划和实施步骤，最后形成行动。当然，这一系列的过程几乎发生在认知的短暂瞬间，所以很多人忽略了认知的复杂性。

我们可以举一个形象的例子。在写这篇文章的同时，提交人2.5岁的女儿一直拿着一个塑料喷壶和铲子在客厅里打水并向空中喷水，同时喊出“水，湿，擦”这个词。两岁半的女儿就像人类的童年。她学会观察和区分她周围的物体，然后她学会给不同的东西命名(杯子、鞋子、罐子)，然后她能理解事物之间的关系并做出因果推论(罐子可以用来盛水，铲子可以用来装东西)；更糟糕的是，她还能编造一些她眼前不存在的东西，就像一个孩子想象用铲子把“水”舀进喷壶，然后从喷壶中倒出“水”来“弄湿”地面或她的鞋子一样。就连她也能“条件反射”地想起那些反复强调“把湿的东西擦干净”的成年人，并试图找到某种东西来擦不存在的“水”。

如果许多动物能够制造和使用工具，并且比两岁的孩子更熟练，那么它们仍然无法完成人类儿童想象尚未发生的事情的推理和计划能力。人类的这种独特才能怎能不令人惊讶和自豪呢？

利用图灵奖获得者朱迪亚珀尔在《为什么：关于因果关系的新科学》中对人类认知能力三个不同层次的区分：观察、行动和想象(看、做、想象)，让我们深入讨论人工智能目前能做什么或不能做什么。

第一层是观察能力，即观察事实A和事实B，然后根据判断X建立事实A和事实B的判断X，会影响我们得出另一个结论y。例如，哲学中的经典三段论：我们观察一个人(事实A)，人们称他为苏格拉底(事实B)，我们得到“苏格拉底是人”(判断X)；我们也掌握了一个无可辩驳的真理：每个人都会死(判断y)；最后，我们得出结论，苏格拉底会死(结论z)。请不要低估这种能力。我们依靠自己强大的判断力来形成经验，让人类从严酷的自然选择中胜出。

第二层是干预能力，即实施干预x或y会导致什么样的结果z。上述例子继续假设，如果我们干预“苏格拉底是一个人”，例如，当时的人神圣化苏格拉底为像耶稣一样的人。即使他确实喝了毒药而死了，但是因为他已经“从人类变成了上帝”，我们可以断定“苏格拉底没有死”。这个假设似乎很荒谬。正是因为这些能力，我们才能进行育种、畜牧、采矿，并建立宗教、城邦和帝国组织。人类文明在短短几百年内对自然的干预已经超过了几百万年前的影响。

第三个层次是反驳事实的能力，包括人类的想象和思考。也就是说，如果判断x或y导致结论z，那么如果x和y不出现，结论z也将改变。再次假设人类发明了时间机器，发明了长生不老药，然后我们回到古希腊雅典的监狱，用长生不老药代替毒药，喂给苏格拉底，判断Y被推翻了，也改变了结论Z。正是这些更加夸张的想象使人类能够提出科学假设，建立知识体系，如相对论和量子力学，并表现出非凡的能力，如文学和艺术创作。

那么，人工智能在哪个层次上模仿人类智能呢？如果你对人工智能持乐观态度，结论将会令人失望。目前，即使是成绩显著的深度学习算法，仍处于认知能力三个层次的第一层次，其智慧与猫头鹰观察老鼠是否出没的能力一样难。

尽管机器学习，尤其是深度学习算法，在图像识别、语音识别、无人驾驶、象棋和纸牌游戏等许多领域都可以超越人类。其模式仍然是“由一系列观察结果驱动并致力于拟合一个函数.深层神经网络只是增加了拟合函数的复杂性，但其拟合过程仍然是由原始数据驱动的.因果关系阶梯上的任何操作系统都不可避免地缺乏这种灵活性和适应性。”

这意味着机器学习和深度神经网络的算法只使用输入数据相关性的拟合，而不理解因果关系，因此人工智能不能从第一认知水平上升到第二认知水平，也不能回答关于干预的各种问题。

上述背景有点冗长。然而，MEMO的远距离推理能力在我们提到的三个认知水平上有着重要的地位。MEMO已经成为深层神经网络开始具有远距离因果推理能力的一种成功尝试，它可以被看作是人工智能从第一层到第二层的一个更好的阶梯。

MEMO算法的创新

首先，MEMO指的是神经科学中的“联想推理”能力，他们从海马体的最新研究中获得了方法论上的灵感。海马体通过一个叫做“模式分离”的过程进行独立记忆储存，以减少记忆间的干扰。与此同时，最新的研究还指出，这些独立存储的记忆是通过循环机制检索的，以实现整合，从而支持众多个体经验的灵活组合，以推断尚未观察到的关系。最后，推理由此形成。

DeepMind的研究人员说，他们受这种神经科学模型研究的启发，研究并增强了机器学习模型的推理能力。

与以前的推理系统相比，MEMO引入了两个新的组件：首先，它引入了存储在外部存储器中的事实和构成这些事实的项目在外部存储器中的分离；其次，它使用自适应检索机制，在生成答案之前允许可变数量的“内存跳转”。

进一步解释。第一部分：MEMO采用基于EMN(端到端记忆网络)的基本结构来呈现外部记忆表征，但在其新结构中加入了参照海马机制设计的新任务PAI(配对联想推理)，允许灵活加权记忆中的单个元素以增强推理能力。

第二个组成部分：在运行中，计算时间过长的问题仍然需要解决。在标准神经网络中，计算量随着输入函数的大小而增加，而MEMO更倾向于将计算时间与任务的复杂性联系起来。因此，它从人类联想记忆模型中引入了一个名为“记忆”的模型。在该模型中，从存储器中检索的内容作为新的查询被重新循环，然后在重新循环过程的不同时间步骤中检索的内容之间的差异被用于计算网络是否适应于固定点。MEMO可以采用“终止策略”，并通过网络输出一个动作(在强化学习的意义上)，以表明它是否希望继续计算和查询其记忆，或者它是否能够回答给定的任务。在强化学习中引入一个新的术语——二进制停止随机变量，使预期的计算步骤最小化。

基于这两个新成分的加入，MEMO在以下三个实验结果的任务测试中取得了显著的优势，从而证明了这两个成分的有效性。

验证了三组结果：MEMO与其他两种内存增强架构进行了比较：EMN和DNC(差分神经计算机)和UT(通用变压器、通用转换器、bAbI任务套件中的最新型号)。

1.联想配对推理：在较小集合的推理查询中，MEMO能达到与DNC一样的最高精度，而EMN即使有4或10跳也不能达到同样的精度，并且UT不能精确地解决这个推理测试。对于较长的序列组合(即下面的长度4和5)，MEMO是唯一成功回答最复杂推理查询的架构。

2.测试随机生成的图的最短路径：表2显示并找到最短的两个节点之间的路径。在只有10个节点的短路径上，DNC、UT和MEMO对中间最短路径节点有很好的预测精度。在20个节点的长路径上，MEMO比DNC在更复杂的高连通性图中表现更好，在预测最短路径上的两个节点时效果超过20%。

3.在BABI任务的问答测试中：在10k训练集中，MEMO与两个基准模型和UT模型进行比较。结果表明，MEMO是唯一能够在更长的序列中成功回答最复杂的推理查询的体系结构。

显然，MEMO在基于记忆表征的远程推理中的改进是非常明显的，其创新之处在于采用了一种新结构的联想配对推理方法，应用于神经科学的测试推理。这也从反面证实了神经科学中记忆推理的假设：记忆中事实成分的分离和储存，以及强大注意机制的结合，通过记忆储存中个体成分的灵活组合实现推理。

备忘录：去AGI的路对吗？

AGI从一开始就是心灵深处的目标。深度思维创始人戴密斯哈萨比斯长期以来一直采用神经科学来研究AGI。

早在2010年8月，也就是DeepMind成立的前三个月，哈萨比斯就在那年的奇点峰会上发表了题为“构建AGI的系统神经科学方法”的演讲。

在他的演讲中，他回应了AGI之前的两种方法：一种是通过符号人工智能构建人脑的思维系统，即通过描述和编程系统。失败之处在于手术太难了，无法真正描述大脑的结构。第二是以数字形式复制大脑的物理网络结构。这种方法很有意义，但这项任务侧重于恢复大脑的物理功能，却无法解释人类智能的运作规则。

经过比较，哈萨比斯采取了一种折衷的路线：AGI应该受到大脑处理信息的宏观方法的启发，而不是从它的物理结构或特定的大脑区域功能中寻找方法。简而言之，AGI应该专注于理解人脑的软件功能，而不是硬件功能。磁共振成像(FMRI)等新技术使人们能够在人类的各种思维活动中观察大脑的内部活动，从而了解其运行机制。人工智能研究应该以人类大脑系统为榜样。

这为DeepMind的研究奠定了基础。人工智能应该像人类一样学习和思考。这意味着DeepMind坚信神经科学研究所发现的“大脑算法”可以被神经网络引用和使用。反过来，这种机制在神经网络机制中的成功实践，反过来又促进了神经科学的发展。

显然，从MEMO的效果来看，模拟人脑神经网络机制的方法似乎可以作为一条通往AGI的道路，但这条道路绝非一帆风顺，如目前“因果推理”的巨大差距。MEMO的提议只是跨越这个峡谷的重要一步。

在AGI之旅中，深度学习和其他技术将继续发展。它需要将“因果关系”的鸿沟降到人类因果认知的最低点，如跳跃联想、条件干预的因果预测、反事实推理等等，然后才有可能再次跨越鸿沟。

这条路又长又堵。AGI的黎明不会很快到来。然而，正是由于像“心灵深处”这样的人工智能研究机构的努力，在黑夜中探索的人们一直珍惜火种。