Press "Enter" to skip to content

牛津大学教授Michael Wooldridge:AI社区40+年如何看待神经网络

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

最近牛津大学计算机系教授Michael Wooldridge在一口气发了30条推特,内容是通过他的藏书这一个线索,梳理了近40多年来人工智能社区对神经网络的看法,获得了很多AI界同行或大佬的关注。比如Yann lecun点赞说”Nice thread on the perception of neural nets by the AI community over 4 decades.”

 

 

编者联系了Michael Wooldridge教授,获得了翻译许可。编者将推特内容的要点编译如下,并针对提到的书籍添加了相关图片:

 

我相信大家会同意,神经网络社区中有些人会对过去40年来该领域的发展路径感到遗憾,尤其是1980年代兴起的联结主义/PDP (编者注:Parallel Distributed Processing,并行分布模型) 热潮在1990年代沉寂之后。

 

最近办公室搬迁,我重新整理了自己的藏书,重新审视了那些数量可笑的AI教科书,复盘大家对神经网络的看法以及当初对神经网络的漠视是否合理。

 

首先是:Douglas Richard Hofstadter (编者注:作者中文名“侯世达”) 的《戈德尔,埃舍尔,巴赫》(1979)。侯世达是普利策奖得主,在1980年代极具影响力,这本书探索了人工智能、逻辑、音乐和艺术之间的联系。

 

 

GEB (编者注:该书名的缩写,又称“集异璧”) 是一次知识之旅 ,是一个真正独特且头部扩展的作品。我想很多学生在读完这本书后都会被人工智能/逻辑/数学所吸引,所以向侯世达致敬,从那以后,我再也没有见过这样的作品。

 

GEB“确实”谈论了神经结构(第339页) ,并且不回避重大的问题(比如大脑如何导致思想?)事实上,它还解决了很多大问题,但没有提及“感知器 Rosenblatt”,也没有提到(也许幸运之事)Minsky & Papert撰写的“Perceptrons”一书(尽管引用了两位作者的其他工作)。

 

(编者注:感知器Rosenblatt诞生于1958年,是第一个从算法上完整描述的神经网络;“Perceptrons”书中仔细分析了以感知机为代表的单层神经网络系统的功能及局限,证明感知机不能解决简单的异或等线性不可分问题,扼杀了当时人们对神经网络的研究兴趣。)

 

下一部是3卷本的《人工智能手册》。Vols 1 (1981) and 2 (1982), 由 Barr & Feigenbaum 编辑,Vol 3 (1982) 由 Cohen & Feigenbaum 编辑。我对它们情有独钟。

 

 

复读这几本书对我来说是一次深度的怀旧之旅:我在本科时(1985-89)专心致志地研究了它们,它们对1970年代的人工智能世界有着深刻的了解,很多观点至今具有现实意义和历史参考价值。

 

其中第3卷涵盖了视觉和学习,我们会在有关模式识别的内容章节下发现有感知器的介绍……梯度下降也出现了(第376页) ,这稍微让我感到惊讶,产生一种“爬山”的感觉。

 

然而,视觉/学习部分的绝大部分内容都是关于符号方法的,而原型(buttonholing)的神经网络只是归为模式识别范畴。鉴于我们现在的知识经验,这令人感到奇怪,不过这是40年前的事了。

 

接下来是伊莱恩·里奇(Elaine Rich)1983年出版的《人工智能》(Artificial Intelligence)。我认为这是第一本真正被广泛采用的人工智能教科书。这是我本科AI课程的教材。它写得很好,融会贯通了很多知识点,“非常”有影响力。

 

 

Rich的书一直影响着人工智能课程的设计,它的结构现在依然是规范:解决问题/搜索;玩游戏;知识表示;自然语言处理;感知;学习;应用。即使在今天,您也可以在任何地方找到具有这种结构的AI课程。

 

Rich的书是一本经典之作,至今仍然引人入胜。然而,它对感知器的描述只有一段话,并认为其从未达到任何程度的成功(第363页)。这是联结主义/PDP引起所有人注意的前几年。

 

接下来是一本人工智能期刊的特刊,以“人工智能的基础”为题出版(麻省理工学院出版社,ed D Kirsh,1992年,内容基于1987年一次研讨会)。

 

 

在收录的文章中,符号方法占主导地位(Lenat,Feigenbaum,Newell…),但有趣的是,我看到了对逻辑主义方法(“Rigor mortis”是一篇批评逻辑主义AI的文章标题)和“基于知识的AI”的强烈抵制。

 

神经网络很少被提及,罗德·布鲁克斯(Rod Brooks)似乎是唯一一个这样做的人,他的文章“没有表征的智能”非常精彩,立场鲜明,可谓是我们这一代人工智能研究者的嘹亮号角。

 

但Rod对神经网络的讨论,主要定位于他自己的工作(反应/行为AI)方面 – Rod离逻辑/知识还有很长的路要走,但他的AI研究,和当时一般的神经AI研究相比,表现出了更高的水准。

 

Matt Ginsberg的“Essential of Artificial Intelligence”于1993年出版。Matt的书清楚地表明,自Rich的教科书以来,人工智能领域已经发展成熟了 ,并更具算法/数学性。

 

 

包括它对简单神经网络(第310页开始)有非常清晰的解释,但没有梯度下降/反向传播等算法。这些方法被忽略是因为缺乏可陈述的原理基础,但也许更重要的是因为作者对可扩展性的担忧。

 

“……神经方法……如果我们需要10^ 12个阈值元素,将面临严重困难!“(第313页)

 

好吧,摩尔定律的累积效应已经影响了我们中的许多人。这是一个有益的教训。

 

最后,Russell & Norvig的经典作品“AI:A Modern Approach”。我记得当这本书于1995年发行时,人工智能社区漾起了一股兴奋的涟漪。这是一项令人叹为观止的学术工作。

 

 

没有其他人工智能书籍能够像这本书一样。因为它能够完整讲述关于这个疯狂领域的、有无尽令人眼花缭乱的思想链的连贯故事。我写过多本教科书,知道这有多难。这是一项重大工作,独一无二。

 

第1版AIMA对神经网络进行了扎实的处理(第19章):对感知器,多层前馈网络,反向传播等进行了极其清晰的描述,并给出了适当的数学定义+实际算法。

 

然而,这本书指出了神经网络的许多问题,并认为它们“不能形成目前人工智能的合适基础”。

 

AIMA的最新版(第4版)最近出版了:我非常自豪地宣布,我参与了其中多代理系统章节的编写。

 

 

这个新版本,包含了Gan作者 Ian Goodfellow 对神经网络“梦幻般”的贡献。它写得很棒,并且完全公正地反映了人工智能直到2020年的发展历程。

 

结论?是的,神经网络显然在很长一段时间内被AI社区中的许多人视为边际利益和不确定价值。我不认为这必然是不合理的,除非那些反对者们提出了一些无可救药的不切实际的东西……

 

个人而言,我认为神经网络是一种和其他AI方向“互补”的方法,它已经清楚地证明了在某些领域中的价值。我没有预料到过去十年所发生的内容,所以有件事是确定的:人工智能将继续给我们带来惊喜,我们将嘲笑我们现在持有的许多观点。

 

(编者按:Michael Wooldridge最后总结略显委婉,有位网友在其推特上的评论更加棱角分明,并获得了Michael Wooldridge的认同,这位网友说:“你的结论表明了三点:1)不要盲目相信所谓的专家;他们经常明显错过了重点,2)变革性进展往往是不可预测的,3)在没有大数据和GPU的情况下,人们仍然不会那幺尊重神经网络。”)

 

Michael Wooldridge 简介

 

牛津大学计算机科学系主任,曾参与开发阿尔法围棋机器人(AlphaGo)项目  。Michael Wooldridge 教授主要从事多智能系统研究,同时兼任国际计算机学会、美国人工智能学会及欧洲人工智能学会会员;2015年7月—2017年8月曾担任国际人工智能联合会议主席。Michael Wooldridge 是人工智能界的学术先驱,在多智能系统方面颇有建树,其着述《多Agent系统引论》已经被引为国内外多所大学的计算机科学专业教科书。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。