FAQ

一些异想天开以及初步回答.

无监督学习不靠谱?

无中生有是不靠谱的.即使是人类也需要与环境接触收到世界的反馈来纠正自己的学习.所以没有反馈的学习一定是不靠谱的.当然人类的标准答案不像是标签如此简单,而是某些复杂的情感(如自身的成就感,快乐感觉等)以此来对自己的学习产生反馈.而无监督学习目前阶段还处于结合增强学习需要人类标定正确答案(人定意的输赢)来反馈.所以直到机器人的原则(情感原则,行事原则)建立之前,持续需要人标定的反馈才可能对学习过程产生有意义的反馈.

cnn中每一层有多少feature map是不是可以交给数据驱动?网络结构存在最优解吗?

不可能交给数据驱动.一个任务诸如人脸识别,即使是人类来完成,所用的方法也可以有很多种.所以中间到底倾向于哪种特征肯定不是固定的.每固定一种网络结构都可以有对应的最优解.如果仅仅对于某个数据集对比不同的网络结构而找到所谓网络结构的最优解实际上在泛化性得不到保障.所以科研的重点不应该是在特定技术下找到最优的网络结构而是找到最优的网络搭建技术.所以暴力搜索网络结构(所谓全自动搭建网络)是一种劳民伤财没有实际意义的行为.

梯度消失与梯度爆炸?

是拙劣的链式法则导致的,如果连乘中逐项小于1,则消失.反之则爆炸.所以relu梯度设置为1解决部分之，只解决了隐函数的连成并没有解决权值连乘.batchnorm和gradient clipping部分解决之，部分解决了权值的连乘法。resnet直接破坏链式法则部分解决之，开辟了另一条fast 更新通道与连乘无关.