对于那些想要一个关于深度学习的干净声音的人,我恐怕你不会从我那里得到它。我在这里写了这么多的原因是,我认为深度学习为机器学习带来的进步的本质是复杂的,并且无视广泛的判断,特别是在其发展的相当早期阶段。但我认为向后退一步并尝试了解哪些判断很重要以及如何正确判断是值得的。
片状机器还是懒人?这一系列的帖子部分源于我与加里马库斯对深度学习的观点的碰撞。他的立场的根源是深度学习(在这里他的意思是“统计机器学习”)以各种方式“不够”的概念。在他的中篇文章中,它对于一般情报来说“不够”,而在同步访谈中,“不够”是“可靠的”。
这种关于当前机器学习系统是否“足够好”的概念在深度学习中起到了反复的作用。Marcus引用无人驾驶汽车作为AI如何不够成熟但仍然依赖100%的例子,并且AI需要“基础变化”以确保安全的可靠性水平。关于人工智能的含义,采访中有一点含糊不清,但我自己的印象是,这不是对机器学习的批评,而是对周围软件的批判。
例如,我们的视觉系统能够跟踪和识别道路上的行人。正如马库斯所说,这些系统大多是可靠的,但肯定会偶尔出错。学术和企业研究人员的工作是创建这些系统并使其尽可能没有错误,但从长远来看,它们总是会有一定程度的不可靠性。
某些东西消耗了这些视觉系统的预测并相应地起作用;它是并且永远是那件事的工作,以避免将这些预测视为未经修饰的事实。如果预测得到保证是正确的,那么消费者的工作就会容易得多。实际上,消费视觉系统的预测需要一定程度的聪明和怀疑。也许这种聪明才能意识到单独的传感器系统或其他信息流,如位置和时间。它可能需要Marcus喜欢的象征性方法。正如Yann LeCun所暗示的那样,它可能需要更多和非常不同的深度学习。它可能需要一些全新的东西。
设计与机器学习模型一起正常工作的软件很难。你必须做一些艰难的工作来描述模型的缺点并围绕它们进行工程设计。但是,关键读者应该拒绝这样的观点,即机器学习需要自己提供极高的可靠性,以便在关键任务情况下发挥作用。如果一个视觉系统可以准确地找到并跟踪95%的行人,而其他传感器和逻辑可以获得剩余的5%,那么你已经达到“足够”而没有一个完美的模型。
什么时候“足够”?那么问题就变成了,“我们还在吗?”与当前的ML系统。当然,这取决于我们认为我们需要它们对工程师和领域专家来说是多么好,以便将他们的产出拉到终点线。在很多领域,深度学习使我们处于呐喊的距离,但总的来说,我们是否在那里依赖于你想要系统做什么和工程师的质量。但是,在考虑这个问题时,重要的是要考虑终点线可能不完全符合您的想法。
考虑机器翻译的问题。Douglas Hofstadter写了一篇很棒的文章,他系统地揭示了最先进的机器翻译系统的缺陷。他是对的:对于具有一点复杂性的语言思想,它们并不好,有时完全无法使用。但是整篇文章让我想起了一个博客文章HalDauméIII十多年前写的那篇文章,当时他和我都是最近的博士。在其中,他想知道当你真的有多少人类翻译比计算机翻译更好考虑一切(街道标志,菜单,简单的人际交往等)。他十多年前再次问过这个问题。
这里的要点是,如果这些东西的机器翻译已经明显优于我们在实践中应用的二流人工翻译(或者十年前),那么我们已经有一种感觉,我们拥有的模型非常好。它如何处理更复杂的短语和想法是一个有趣的问题,可能会产生新的研究方向,但就其适用性而言,这都是学术性的。现有技术虽然不完善,但在社会中具有用途和地位。
更不相关的是模型知识的“深度”,或者它是多么“愚蠢”,或算法是否“实际学习”(无论这意味着什么)。这些都是“计算机并不真正理解他们正在做什么”的论点,这些论点贯穿了Hofstadter,John Searle,Alan Turing以及其他几十位哲学家一直追溯到Ada Lovelace。有很多反驳论据(我甚至已经推出了一些我自己的版本),但也许忽略这些问题的最有说服力的理由是答案往往不如问题的答案那么有趣,“
几年前,我和我的妻子主持了一个正在巡回演出的比利时男孩合唱团的两名成员。她和我都不会说法语,所以我们依靠Google Translate与他们交流。直到今天,我还记得打字“我们做了馅饼。你想要一些吗?”进入我的手机,看着他们的脸在翻译出现时亮起来。计算机是否了解馅饼,慷慨,或儿童的快乐,或其自身有缺陷的翻译如何帮助创造不可磨灭的记忆?可能不是。但是我们做到了!
期末考试机器学习本身不足以产生表现出可靠智能行为的系统的批评是一种破碎的批评。深度学习让我们成为这种系统的一部分,也许是很多方面,但是有人认为将汽车的整个行为转让给机器学习模型是必要的,甚至是可取的吗?说不,并不意味着退出全自动汽车;正如马库斯自己指出的那样,人工智能和软件中还有其他技术可以更好地适应这些问题的某些方面。在深度学习和油门踏板之间可以存在许多人类可理解的逻辑层,并且可能是系统的整体 - 而不仅仅是学习的组件 - 将显示我们可能认为是智能的行为。
当它无法解决这些问题的某些方面,没有人真正想要或需要解决时,这是一个深层学习的缺陷还是一个问题?我不这么认为。再一次,解释马库斯(和我自己),机器学习是一种工具。如果你买了一把钉枪并且它是卡纸,那么是的,这是钉枪的问题,但是如果你试图用一把钉枪将一块木头切成两半,这对你来说更是个问题。深度学习是该工具发展过程中非常重要的一步(与其他最近的步骤相比,是一个很大的步骤),但这一步骤并没有改变其基本性质。无论你做了什么改进,钉枪永远不会成为台锯。当然,工具制造商对其工具的实用性提出夸大的说法是不道德和糟糕的事情,但最终由运营商决定使用哪种工具以及如何使用它。
专家们可以整天争论深度学习的影响力以及智能机器学习的可能性,但从长远来看,这些论点都不重要。正如我之前所说的,机器学习有用性的唯一真正考验是领域专家和数据工程师是否可以利用它来创建对其他人有价值的软件。这就是新技术的力量,唯一真正的力量,也是唯一重要的目标。