有关机器学习和深度学习的不同观点

加里马库斯已成为深度学习的主要怀疑论者之一。在最近的一次采访中，以及一篇稍微不那么近期的中期帖子中，他与深度学习先驱Yann LeCun讨论了他的不和，以及他对深度学习过度夸大的一些看法。

我发现整个事情都很有趣，但很多时候，LeCun和Marcus正在互相谈论而不是彼此。马库斯在我看来要么不知道或忽视机器学习的某些真理，而LeCun似乎基本上同意马库斯的想法，这种想法对马库斯来说是不满意的。

让我从教授的帽子上抹掉10年尘埃的诱惑太多了，不容忽视。在本次讨论中，外部观察者可以从一些额外的背景中受益匪浅，在这一系列的帖子中，我很乐意提供一些。在我看来，最重要的是要了解各种观点的来源以及深度学习相对于其余机器学习的位置。深度学习既是渐进式推进，也是革命性推进。这是旧的东西和全新的东西。您看到哪一个取决于您选择如何看待它。

马库斯的帖子，深度学习中最深刻的问题部分是为了回应Yoshi Bengio 最近采访的技术评论。在这篇文章中，马库斯有点惊讶地发现Bengio关于深度学习的语气对其长期前景持谨慎态度，并继续重申他对该领域长期以来持有的一些批评。

马库斯关于深度学习的弱点的大多数核心论点都是有效的，也许比他认为的更无争议：他提到的所有深度学习的问题都是野外从业者经常遇到的。他的帖子没有提到这些论点。相反，他花了很多钱，这表明该领域要么拒绝，要么故意误导公众关于深度学习的优点和缺点。

这不仅不正确，而且还不必要地削弱了他的顶线论点。简而言之，深度学习的问题比Marcus的帖子所暗示的更糟糕，并且它们是影响所有机器学习的问题。唉，面对这些现实的“面对”学者将会感到叹息和耸耸肩，因为我们已经了解并记录了所有这些事情几十年。然而，随着过去几年机器学习的宣传日益增加，有可能会有人在高层面上了解该领域，而只是切实地了解其众所周知的局限性。我们现在回顾一下。

到目前为止，基于CNN的图像识别被各种异常或操纵的输入数据“击败”的例子应该是旧闻。虽然这些例子的构成对于该领域的人来说是一个有趣的好奇心，但重要的是理解为什么他们对几乎没有具有机器学习背景的人感到惊讶。

考虑以下8个人的假但实际的数据集，其中我们知道8个人的身高，体重和怀孕次数，我们希望根据这些变量预测他们的性别：

任何合理的决策树归纳算法都会找到一个简洁的分类器（Height> 70 = Male else Female），它可以完美地对数据进行分类。考虑到我们拥有的数据量，该模型当然不是完美的，但也不是ML标准的可怕模型。在预测现实世界中人们的性别时，它几乎肯定会比机会表现得更好。然而，任何成年人都会用相同的输入数据做得更好。这个模型有一个明显的（对我们来说）盲点：它不知道超过5'10“的人至少怀孕过一次，绝大多数是女性。

这可以通过更具指责性的方式轻松表达：即使给出了关于男性和女性的培训数据以及每个人的怀孕次数，该模型也无法对任何关于哪个性别更容易怀孕的信息进行编码！

听起来这听起来很糟糕; 模特的“知识”变得非常浅薄。但这对于该领域的人来说并不意外。机器学习算法在设计上是简约的，近视的，并且取决于您拥有的训练数据的数量和类型。当我们允许使用对侧选择的示例时，会出现更多问题，在这些示例中，您可以提供构造或选择“欺骗”模型的示例。我将把它作为练习让读者计算分类器在WNBA球员和肯塔基德比骑师的数据集上的表现。

深度学习与其他统计学习没有区别（至少以这种方式）：图像识别文献中提出的所有对抗性例子都与5'11“怀孕的人大致相同;没有任何东西就像在数据集中一样，所以没有充分的理由期望模型能够做到正确，尽管我们正确答案的“显而易见性”。

当他说机器学习的模型不能概括为分布式输入时，有各种各样的Marcus是对的，但是，我的意思是，来吧。这是 用于解决这个问题的各个部分的机器学习技术，但总的来说，它不是在算法范围内容易解决的问题。这不是算法本身的“缺陷”; 算法正在用它拥有的数据做它应该做的事情。我假设！几十年来它一直印在锡上！

马库斯断言：“在一个健康的领域，当发现一系列令人惊讶和有启发性的错误时，一切都会停止”，这预示着该领域的研究人员会对这一特定类型的错误所引起的惊讶或问题感到惊讶。我当然不是，我的直觉是在现场很少。相反，如果你在没有告诉我分类器性能的情况下向我展示这些图像，我会说“对于它来说，这将是一个艰难的过程”。

在我们在Twitter上来回反复播出的机器学习的前提条件下，Marcus似乎对社区对此类错误“不屑一顾”感到不满，并且对这类错误的可能性感到羞耻。在有关深度学习的具有里程碑意义的自然论文中提到过，我认为，这里存在脱节。对于学术文献来说，这是太平凡和众所周知的限制打扰陈述。马库斯希望在毕业学校的课堂上有一个全场的，非常公开的课程。他可能会感到失望。每当机器学习取得新进展时，社区中很少有人会认为需要重申这一限制; 这种限制的存在是每个人的背景的一部分 推进，就像计算机本身的存在一样。

然而，对于与外地公众的沟通，也许马库斯是正确的，这种限制可能会更频繁地占据中心位置（正如Bengio正确地将他们置于他的采访中）。对，是真的！您几乎总能找到一种方法来通过与输入数据混淆来打破机器学习模型，而且通常甚至都不是很难！再一次为后面的人们：

这使得机器学习听起来非常糟糕，并且再次引起了外行人员的极大的骚扰。有喘不过气来的谩骂机器学习系统是如何可以，恐怖的恐怖，愚弄，作出不正确的预测！他们没有错; 如果您认为这种技巧可能正在发生，那绝对必须在技术堆栈中的某个地方处理。再说一遍，即使你没有使用机器学习也是如此。

幸运的是，在很多情况下，这种脆弱性并不是一个问题。例如，在语音识别中，没有人试图“欺骗”模型，语言通常不会经历大规模的分布变化，或者具有特别奇怪和关键的极端情况。因此，所有语音识别系统都使用机器学习，而且模型做得足够好，价值数十亿美元。

是的，所有机器学习的模型都会以某种方式失败。但是不要将这种失败与缺乏可用性混为一谈。

我不会深入研究马库斯的其他观点（例如深度学习的推理类型的限制或其理解自然语言的能力的限制），但我发现这些点与其他人的重合点有多么有趣关于为什么“强AI”可能不会很快发生的争论。这是在我听说加里马库斯之前写的，相关部分主要是我在研究生教育过程中多次听到的想法（现在远远令人不安 - 过去）。是的，这些要点再次有效，但在该领域的人们中，他们再次没有什么新意。

总的来说，Marcus对于统计机器学习的局限性是正确的，任何人都认为深度学习在这些特定的轴上是截然不同的至少有点误导（好吧，也许它有点不同）。但是，在大多数情况下，我没有看到该领域的专家提出这一点。当然不是马库斯的媒体帖子所暗示的病态水平。我很高兴地承认，在高调的成功和公众关注的焦点中，所有的学术理论和实证结果都显示出机器学习失败的方式和时间可能会在噪音中迷失，并且希望我能够做了一点澄清并将其中一些失败的情境化。

那就是它呢？深度学习真的只不过是与其他机器学习相同的（有点脆弱的）技巧中的另一个东西吗？正如我已经说过，这取决于你如何看待它。如果你像我们在这篇文章中看到的那样，是的，它并没有那么不同。然而，在我的下一篇文章中，我们将从另一个角度看一看，看看我们是否能发现深度学习与其余机器学习之间的一些差异。