一、神经网络发展史
在机器学习发展的过程中,有一个算法属于机器学习领域上的皇冠,它就是神经网络。下面,我们来看下神经网络的发展历程:
(1)神经网络最初是通过叠加多层感知机的方法来对数据中的规律进行拟合。
(2)随着算法研究的不断深入,逐渐出现了更加复杂的、由多层隐藏层构成的"深层神经网络"。
(3)2006年,Hinton提出了深度置信网络(DBN),这是一种深层网络模型。DBN(Deep Belief Networks)的训练方法降低了学习隐藏层参数的难度,并且该算法的训练时间和网络的大小、深度近乎线性关系。
二、深度学习优势:
(1)相较传统的浅层学习
深度学习更加强调模型结构的深度,明确特征学习的重要性,通过逐层特征变换,将样本元空间特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。
(2)相较浅层模型
深度模型具有巨大的潜力。在有海量数据的情况下,很容易通过增大模型来达到更高的正确率。深度模型可以进行无监督的特征提取,直接处理未标注数据,学习结构化特征。
(3)学习速度
随着GPU、FPGA等器件被用于高性能计算,加上神经网络硬件的出现和分布式深度学习系统的出现,深度学习的训练时间被大幅缩短,使得人们可以通过单纯的增加使用器件的数量来提升学习的速度。
总之,深层网络模型的出现,使得世界上无数难题得以解决,深度学习已成为人工智能领域最热门的研究方向。
下面总结一下关于人工智能、机器学习、深度学习三者之间的关系以及对应的发展时间。