Overview of deeplearning
在2015年,深度学习界的三座大山（H家族）联合推出了一篇深度学习review,借着它我们来开始本书吧!附上地址:
https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
深度学习,在这里巨巨们给了一个不吹不夸的讲法:一个多处理层模型的手段,使得特征表达具有multiple level of abstraction,较之前的方法specific level of abstraction,在许多领域有了效果上的显著提升.
很中肯.相较之下公众号上吹嘘其与生物构造神经元怎么怎么样,模拟人脑怎么怎么样都是炒作.只能说深度学习中的DNN与生物基础不无关系,仅仅是不无.
传统的机器学习方法受限于其对原始数据的处理能力,所以一直以来都需要相关数据领域的专家来设计优良的特征提取器来使得原始数据变成适用于机器学习问题的特征向量.
表达学习(Representation learning)是一种机器自动地从原始数据中,发现服务于某任务的优良特征的一系列方法.目前的深度学习方法就是表达学习的一种,只不过与传统不同,其表达学习可以有multiple levels representation.通过简单的非线性模块的拼接与组合(这样的非线性模块越多往往可以表达更加复杂的函数),从输入的原始数据开始,每层都可以学习到特征,并且随着层的加深,提取到的特征抽象程度也越高.
举图像分类的例子,第一层特征一般学出来都会是各种角度比的边的检测器,随着层的加深,中间层可能为一些边的组合(构成一个part)的检测器,高层特征可能是part间的组合的检测器.
深度学习的key point在于,这些特征并不是由人类来定义和设计的,完全通过一个标准化的方法以及由数据驱动就可以训练出这样的模型.而这种在高维数据中发现本质(也许是)结构的能力,十分有用,小到语音识别图像分类,大到预测这样的DNA会不会更容易有某种病变...
深度学习这样的方式,受益于目前计算能力和数据爆炸增长的方式,所以巨巨们都认为在短期的未来种深度学习都会有不错的作为.
一个典型的CNN框架.在DL中多层结构训练的方法都是使用BP算法.而截至目前,最流行的非线性激活函数是ReLU.
- Dauphin, Y. et al. Identifying and attacking the saddle point problem in high-
dimensional non-convex optimization. In Proc. Advances in Neural Information
Processing Systems 27 2933–2941 (2014). - Choromanska, A., Henaff, M., Mathieu, M., Arous, G. B. & LeCun, Y. The loss
surface of multilayer networks.
两篇文章介绍了局部极小值问题并不是一个很大的问题,在多层网络中,objective function的绝大部分鞍点都有着近似的值,所以无所谓(或者说影响不大)使用SGD算法陷入哪个局部最小值.
之后文章介绍了RNN的在语音文字等序列data识别上的贡献以及LSTM在诸多情况下的性能被证明优于RNN.而于近两年的新的花招例如CW-RNNs则并没有提到.还是可以说文章讲的所有review都是可以直接操作且保证性能的工作.
在未来展望这个部分,大佬们对unsupervised learning表示了很高的期待.然后对于计算机视觉领域,他们觉得未来将会是端到端的以及利用增强学习的.
那么对于DL的介绍就到这里.下面会按照分类看具体内容.