PART 1 深度学习简介

目录

PART 1 深度学习简介

1.1 人工智能、机器学习与深度学习

1.2 深度学习的发展历程

1.3 深度学习的应用

1.3.1 计算机视觉

1.3.2 语音识别

1.3.3 自然语言处理

1.3.4 人机博弈

1.4深度学习工具介绍和对比

---

1.1 人工智能、机器学习与深度学习

一些人类通过直觉可以很快解决的问题，目前却很难通过计算机解决。这些问题包括自然语言理解、图像识别、语音识别等。而它们就是人工智能需要解决的问题。

为了使计算机掌握更多开放环境open domain下的知识，研究人员进行了很多尝试，其中一个影响力非常大的领域就是知识图库ontology。

---

对机器学习的定义为：如果一个程序可以在任务T上，随着经验E的增加，效果P也可以随之增加，则称这个程序可以从经验中学习。在使用逻辑回归算法解决垃圾邮件分类问题时，会先从每一封邮件中抽取对分类结果可能有影响的因素，比如发邮件的地址，邮件的标题及收件人的长度，等等。每一个因素被称之为一个特征feature。逻辑回归算法可以从训练集中计算出每个特征和预测结果的相关度。在对一封未知的邮件做判断时，逻辑回归算法会根据从这封邮件中抽取得到的每一个特征以及这些特征和垃圾邮件的相关度来判断这封邮件是否为垃圾邮件。

在大部分情况下，在训练数据达到一定数量之前，越多的训练数据可以使逻辑回归算法对未知邮件做出的判断越精确。之所以说在大部分情况下，是因为逻辑回归算法的效果除了依赖训练数据，也依赖于从数据中提取到的特征，逻辑回归算法无法从数据中习得更好的特征表达，这也是很多传统机器学习算法的一个共同的问题。

---

对许多机器学习问题来说，特征提取不是一件简单的事情。在一些复杂问题上，要通过人工的方式设计有效的特征集合，需要很多的时间和精力。既然人工的方式无法很好地抽取实体中的特征，那么是否有自动的方式呢？答案是肯定的。深度学习解决的核心问题之一就是自动的将简单的特征组合成更加复杂的特征，并使用这些组合特征解决问题 。深度学习就是机器学习的一个分支，他除了可以学习特征和人物之间的联系，还能自动从简单特征中提取更加复杂的特征。

深度学习算法可以从数据中学习更加复杂的特征表达，使得最后一步权重变得更加简单且有效。

深度学习算法可以一层一层地将简单特征逐步转化成更加复杂的特征，从而使得不同类别的图像更加可分。

早期的深度学习受到了神经科学的启发，它们之间有着非常密切的联系。科学家们在神经科学上的发现使得我们相信深度学习可以胜任很多人工智能的任务。直到今天，学术机构的机器学习领域也被分为了自认语言处理、计算机视觉和语音识别等不同的实验室。因为深度学习的通用性，深度学习的研究者往往可以跨越多个研究方向甚至同时活跃于所有的研究方向。虽然深度学习领域的研究人员相比于其他机器学习领域更多地受到了大脑工作原理的启发，但现代深度学习的发展并不拘泥于模拟人脑神经元和人脑的工作机理。现代的深度学习已经超越了神经科学观点，它可以更广泛地适用于各种并不是由神经网络启发而来的机器学习框架。值得注意的是，有一个领域的研究者试图从算法层理解大脑的工作机制，它不同于深度学习的领域，被称为“计算神经学”computer neuroscience。深度学习领域主要关注如何搭建智能的计算机系统，解决人工智能中遇到的问题。计算神经学则主要关注如何建立更准确的模型来模拟人类大脑的工作。

总的来说，人工智能、机器学习和深度学习是非常相关的几个领域。人工智能是一类非常广发的问题，机器学习是解决这类问题的一个重要手段，深度学习则是机器学习的一个分支。在很多人工智能问题上，深度学习的方法突破了传统机器学习方法的瓶颈，推动了人工智能领域的发展。

1.2 深度学习的发展历程

事实上，目前大家所熟知的“深度学习”基本上是深层神经网络的一个代名词，而神经网络技术可以追溯到1943年。神经网络的发展史大致可以分为三个阶段。

受到人类大脑结构的启发，人工神经网络的计算模型于1943年首次提出。之后感知机的发明使得人工神经网络成为真正可以从数据中“学习”的模型。但由于感知机的网络结构过于简单，导致无法解决线性不可分问题。再加上人工神经网络所需要的计算量太大，当时的计算机无法满足计算需要，使得人工神经网络的研究进入了第一个寒冬。到20世纪80年代，深层神经网络和反向传播算法的提出很好地解决了这些问题，让人工神经网络进入第二个快速发展期。不过，在这个时期中，以支持向量机为主的传统机器学习算法超越了人工神经网络的精确度，使得人工神经网络领域再次进入寒冬。真到2012年前后，随着云计算和海量数据的普及，人工神经网络以“深度学习”的名字再次进入大家的视野。在短短几年时间内，深度学习在很多研究领域中突破了传统机器学习的瓶颈，推动了人工智能的发展。

1.3 深度学习的应用

1.3.1 计算机视觉

1.3.2 语音识别

微软的研究人员通过大量实验得出，使用深度学习的算法比使用混合高斯模型的算法更能够从海量数据中获益。随着数据量的加大，使用深度学习模型无论在正确率的增长数值上还是在增长比率上都要优于使用混合高斯模型的算法。这样的增长在语音识别的历史上是从未出现过的，而深度学习之所以能完成这样的技术突破，最主要的原因是它可以自动的从海量数据中提取更加复杂且有效的特征，而不是如高斯混合模型中需要人工提取特征。

1.3.3 自然语言处理

1.3.4 人机博弈

1.4深度学习工具介绍和对比