Press "Enter" to skip to content

先天认知与深度学习

“天赋论学说认为,人类思维是与生俱来的思想或知识。在这种理念中,最着名的是柏拉图的形式理论,以及后来的笛卡尔的《沉思录》。目前,这一观点正在获取神经科学方面的证据,以证实我们确实生来就对我们的世界有先天的认识”。

 

 

Figure 1: An elder Plato walks alongside Aristotle, The School of Athens, Raphael

 

然而,“天赋论”学说与“纯粹主义”机器学习方法是相冲突的。在这种“纯粹的”机器学习算法中,算法仅从数据中学习,而无需进行显式编程或配备预编程的计算和逻辑模块。

 

——The Bitter Lesson  Rich Sutton  March 13, 2019

 

但是,有一种持截然相反观念的思想流派,建议将符号主义人工智能技术与深度学习相结合。

 

深度学习的未来

 

纽约大学教授Gary Marcus等人提倡的一种观点认为,深度学习需要与更古老的、象征主义的人工智能技术相结合,以达到人类的智能水平。但是,Hinton并不这幺认为。Hinton将此比作使用电动马达却仅仅用来驱动汽油发动机的喷油器,尽管电力更节能。

 

与此同时,混合模型可能能够会解决深度学习明显的局限性,特别是关于“深度学习目前缺乏一个明确的定义来学习抽象概念的机制,当有成千上万、数百万甚至数十亿的训练实例时,这种方法效果是最好”。

 

你是否认为我们最好把GOFAI融入深度学习呢?争论仍在激烈进行。

 

新的神经学证据

 

在我看来,其实这些讨论最终都归结为一个问题——我们人类是通过经验来学习一切,还是生来就具有某种形式的先天认知?

 

在《美国国家科学院院刊》(PNAS)上发表的一项研究表示:

 

——A synaptic organizing principle for cortical neuronal groups  By Rodrigo Perin, Thomas K. Berger, and Henry Markram

 

这样的集群包含物理世界某些简单工作的内容。

 

——Are We Born With Knowledge?  in Uncategorized

 

分界线

 

随着越来越多的神经学证据支持先天认知的存在,用“先天”的计算模块或原语来装备深度学习可能是有意义的。同时,其中的一些原语很有可能将基于那些从GOFAI借鉴或启发的思想。

 

另一方面,我们很难预测未来的深度学习架构会是什幺样子。Yoshua Bengio本人也承认,“在神经网络能够达到人类大脑所拥有的一般智力之前,深度学习的新架构是很需要的。”

 

在我看来,与诸如神经后端和符号前端(如图2)的清晰并置相反,符号操作很可能会与神经体系结构深度耦合和纠缠在一起。“ 与通用计算机程序相比,它们的模型要比我们当前可区分的层更丰富的基元之上构建,这是我们将如何进行推理和抽象的方法,也是当前模型的基本弱点 ”

 

 

Figure 2: Deep Symbolic Reinforcement Learning, the neural back end learns to map raw sensor data into a symbolic representation, which is used by the symbolic front end to learn an effective policy (source)

 

这表明,“纯粹主义”和“混合主义”这两种方法之间的界限非常模糊。因此我认为,在观点上的分歧更多程度上是重点不同产生的分歧,而不是根本的分歧。

 

原文链接: https://towardsdatascience.co…

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注