可思数据-人工智能媒体资讯平台！

构建好，训练不出好的效果怎么办？明明说好的拟合任意函数(一般连续)(为什么？可以参考http://neuralnetworksanddeeplearning.com/)，说好的足够多的数据(https://en.wikipedia.org/wiki/Occam's_razor)，仔细设计的神经网络都可以得到比其他更好的准确率和泛化性呢(当然不是我说的)，怎么感觉不出来呢？

 

很直观，因为神经网络可以随意设计，先验假设较少，参数多，超参数更多，那模型的自由度就非常高了，精心设计对于新手就变得较难了。这里讲一些最简单的trick，肯定不全面，欢迎大家留言补充。

 

下面介绍一些值得注意的部分，有些简单解释原理，具体细节不能面面俱到，请参考专业文章

 

主要来源

CS224D Lecture 6

（https://youtu.be/l0k-30FNua8）

Debugging Neural Networks

（https://stackoverflow.com/questions/41488279）

A Practical Guide to Training Restricted Boltzmann Machines

（https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf）

My Neural Network isn't working! What should I do?

（http://theorangeduck.com/page/neural-network-not-working）

Neural Network and Deep Learning

（http://neuralnetworksanddeeplearning.com/）

TensorFlow实战

 

那我们直接从拿到一个问题决定用神经网络说起。一般而言，

首先选定你要采用的结构，如一对一，固定窗口，数据维度粒度，MLP，RNN或者CNN等

 

非线性选择，sigmoid，tanh，ReLU，或者一些变体，一般tanh比sigmoid效果好一点(简单说明下，两者很类似，tanh是rescaled的sigmoid，sigmoid输出都为正数，根据BP规则，某层的神经元的权重的梯度的符号和后层误差的一样，也就是说，如果后一层的误差为正，则这一层的权重全部都要降低，如果为负，则这一层梯度全部为负，权重全部增加，权重要么都增加，要么都减少，这明显是有问题的；tanh是以0为对称中心的，这会消除在权重更新时的系统偏差导致的偏向性。当然这是启发式的，并不是说tanh一定比sigmoid的好)，ReLU也是很好的选择，较大的好处是，当tanh和sigmoid饱和时都会有梯度消失的问题，ReLU就不会有这个问题，而且计算简单，当然它会产生dead neurons，下面会具体说。

 

Gradient Check，如果你觉得网络feedforward没什么问题，那么GC可以保证BP的过程没什么bug。值得提的是，如果feedforward有问题，但是得到的误差是差不多的，GC也会感觉是对的。大多情况GC可帮你找到很多问题！步骤如下：

 

 

那如果GC失败，可能网络某些部分有问题，也有可能整个网络都有问题了！你也不知道哪出错了，那怎么办呢？构建一个可视化过程监控每一个环节，这可以让你清楚知道你的网络的每一地方是否有问题！！这里还有一个trick，先构建一个简单的任务(比如你做MNIST数字识别，你可以先识别0和1，如果成功可以再加入更多识别数字)；然后从简单到复杂逐步来检测你的model，看哪里有问题。举个例子吧，先用固定的data通过单层softmax看feedforward效果，然后BP效果，然后增加单层单个neuron unit看效果；增加一层多个；增加bias。。。。。直到构建出最终的样子，系统化的检测每一步！

 

参数初始化也是重要滴！其主要考虑点在于你的激活函数的取值范围和梯度较大的范围！

隐层的bias一般初始化为0就可以；输出层的bias可以考虑用reverse activation of mean targets或者mean targets(很直观对不对) weights初始化一般较小的随机数，比如Uniform，Gaussion

 

 

更放心一点，可视化每一层feedforward输出的取值范围，梯度范围，通过修改使其落入激活函数的中间区域范围（梯度类似线性）；如果是ReLU则保证不要输出大多为负数就好，可以给bias一点正直的噪声等。当然还有一点就是不能让神经元输出一样，原因很简单

优化算法，一般用mini-batch SGD，不要用full batch gradient(慢)。一般情况下，大数据集用2nd order batch method比如L-BFGS较好，但是会有大量额外计算2nd过程；小数据集，L-BFGS或共轭梯度较好。(Large-batch L-BFGS extends the reach of L-BFGSLe et al. ICML 2001)

 

mini-batch好处主要有：可以用加速并行；引入的随机性可以避免困在局部最优值；并行化计算多个梯度等。在此基础上一些改进也是很有效的(因为SGD真的敏感)，比如Momentum，他的意图就是在原先的跟新基础上增加一点摩擦力，有点向加速度对速度的作用，如果多次更新梯度都往一个方向，说明这个方向是对的，这时候增加跟新的步长，突然有一个方向，只会较少影响原来的方向，因为可以较少的数据带来的误差。当你使用momentum时可以适当减小global learning rate

 

 

momentum

 

学习率，跑过神经网络的都知道这个影响还蛮大。一般就是要么选用固定的lr，要么随着训练让lr逐步变小

方案一：当验证误差不再下降时，lr减小为原来的0.5

方案二：采用理论上可以保证收敛的减小比例，O(1/t)，t是迭代次数

方案三：较好用自适应的学习率，比如Adagrad(Duchi et al. 2010)等

 

简要说明一下，Adagrad非常适合数据出现频度不一样的模型，比如word2vec，你肯定希望出现非常少的词语权重更新非常大，让它们远离常规词，学习到向量空间中距离度量的意义，出现非常多的词(the，very，often)每次更新比较小。

 

 

adagrad

 

按照上面式子，如果进入一个local optimum，参数可能无法更新时，可以考虑每隔一段epoch，reset sum项

 

看看你的模型有没有能力过拟合！(training error vs. validation error)

如果没有，想办法让它过拟合！(r u kidding?! 哈哈)，一般而言，当参数多于training数据时，模型是有能力记住数据的，总归先保证模型的能力么

 

如果过拟合了，那么就可以进一步优化啦，一般breakthrough的方法都是来自于更好的regularization method，解决过拟合很多方法在此就不多论述了。比如减小模型(layers, units)；L1，L2正则(weight decay)；early stop(按照数据集大小,每隔一段epoch(比如小数据集每隔5epoch，大的每隔(1/3epoch)）保存模型，最后选择validation error 最小的模型)；sparsity constraints on hidden activation；Dropout；data

 

augumentation (CNN 一些变化不变性要注意)等

======================================================

大体流程如上，再引一篇大神之作，Practical Recommendations for Gradient-Based Training of Deep Architectures Y. Bengio(2012)，额外提到的有unsupervised预训练。其实数据不够时也可以找类似任务做迁移学习，fine-tuning等。

最后，可以看到一个网络那么多的超参数，怎么去选这些超参数呢？文章也说了：

Random hyperparameter search!

 

以上提的多是supervised learning，对于unsupervised learning可以做fine tuning

接下来按一些模块具体列举下，欢迎补充！！

 

论文链接：

https://link.springer.com/chapter/10.1007/978-3-642-35289-8_26

 

标准化(Normalization)

很多machine learning模型都需要，在此不多论述，神经网络假设inputs/outputs服从近似均值为0方差为1分布。主要为了公平对待每个特征；使优化过程变得平稳；消除量纲影响等

z-score; min-max; decimal scaling等

 

scale控制特征的重要性：大scale的output特征产生更大的error；大的scale的input的特征可以主导网络对此特征更敏感，产生大的update

一些特征本来取值范围很小需要格外注意，避免产生NaNs

就算没有标准化你的网络可以训练的话，那可能前几层也是做类似的事情，无形增加了网络的复杂程度

通常都是把所有inputs的特征独立地按同样的规则标准化，如果对任务有特殊需求，某些特征可以特别对待

 

检查结果(Results Check)

有点类似于在模型中按一个监控系统（预处理，训练，预测过程中都要），这个步骤可以帮助你发现你的模型在哪里出了问题，较好可以找到可视化的方法，一目了然，比如图像方面就很直观了。

 

需要注意的是，你需要理解你设定的error的意义，就算训练过程error在不断减少，也需要来和真实的error比较，虽然training error减少了，但是可能还不够，真实世界中需要更小的error，说明模型学习的还不够

当在training过程中work后，再去看在validation集上的效果

再更新网络结构前，较好确保每一个环节都有“监控”，不要盲目做无用功

 

预处理(Pre-Processing Data)

现实中同样的数据可以有不同的表达方式，比如移动的汽车，你从不同角度位置去观察，它做的都是同样的事情。你应该确保从南面观察和从西面观察的同样的数据，应该是相似的！

神经网络假设数据的分布空间是连续的

减少数据表示多样性带来的误差；间接减少了网络前几层做没必要的“等同”映射带来的复杂度

 

正则化(Regularization)

增加Dropout，随机过程，噪声，data augumentation等。就算数据足够多，你认为不可能over-fitting，那么较好还是有正则，如dropout(0.99)

一方面缓解过拟合，另一方面引入的随机性，可以平缓训练过程，加速训练过程，处理outliers

Dropout可以看做ensemble，特征采样，相当于bagging很多子网络；训练过程中动态扩展拥有类似variation的输入数据集。（在单层网络中，类似折中Naiive bayes(所有特征权重独立)和logistic regression(所有特征之间有关系)；

一般对于越复杂的大规模网络，Dropout效果越好，是一个强regularizer！

较好的防止over-fitting就是有大量不重复数据

 

Batch Size太大

太大的batch size会减gradient descend的随机性，对模型的精度产生负面影响。

如果可以容忍训练时间过长，较好开始使用尽量小的batch size(16,8,1)

大的batch size需要更多的epoch来达到较好的水平

原因1：帮助训练过程中跳出local minima

原因2：使训练进入较为平缓的local minima，提高泛化性

 

学习率lr

去掉gradient clipping（一般默认有），训练过程中，找到较大的，使模型error不会爆掉的lr，然后用稍微小一点的lr训练

一般数据中的outliers会产生大的error，进而大的gradient，得到大的weight update，会使最优的lr比较难找

预处理好数据(去除outliers)，lr设定好一般无需clipping

如果error explode,那么加gradient clipping只是暂时缓解，原因还是数据有问题

 

最后一层的激活函数

限制输出的范围，一般不用任何激活

需要仔细考虑输入是什么，标准化之后的输出的取值范围，如果输出有正有负，你用ReLU，sigmoid明显不行；多分类任务一般用softmax(相当于对输出归一化为概率分布)

激活只是一个映射，理论上都可以

如果输出没有error明显也不行，那就没有gradient，模型也学不到什么

一般用tanh，产生一个问题就是梯度在-1或1附近非常小，神经元饱和学习很慢，容易产生梯度消息，模型产生更多接近-1或1的值

 

Bad Gradient(Dead Neurons)

使用ReLU激活函数，由于其在小于零范围梯度为0，可能会影响模型性能，甚至模型不会在更新

当发现模型随着epoch进行，训练error不变化，可能所以神经元都“死”了。这时尝试更换激活函数如leaky ReLU，ELU，再看训练error变化

使用ReLU时需要给参数加一点噪声，打破完全对称避免0梯度，甚至给biases加噪声

相对而言对于sigmoid，因为其在0值附近最敏感，梯度较大，初始化全为0就可以啦

任何关于梯度的操作，比如clipping, rounding, max/min都可能产生类似的问题

ReLU相对Sigmoid优点：单侧抑制；宽阔的兴奋边界；稀疏激活性；解决梯度消失

 

初始化权重

一般说随机初始化为一些小的数，没那么简单，一些网络结构需要一些特定的初始化方法，初始化不好很可能得不到文章上的效果！可以去尝试一些流行的找到有用的初始化

太小：信号传递逐渐缩小难以产生作用

太大：信号传递逐渐放大导致发散和失效

比较流行的有 'he', 'lecun', 'Xavier'（让权重满足0均值，2/(输入节点数+输出节点数)）

biases一般初始化为0就可以

每一层初始化都很重要

 

网络太深

都说深度网络精度更高，但深度不是盲目堆起来的，一定要在浅层网络有一定效果的基础上，增加深度。深度增加是为了增加模型的准确率，如果浅层都学不到东西，深了也没效果。

开始一般用3-8层，当效果不错时，为了得到更高的准确率，再尝试加深网络

所以的优化方法在浅层也有用，如果效果不好，不是深度不够

训练和预测过程随着网络加深变慢

 

Hidden neurons的数量

较好参考researcher在相似的任务上结构，一般256-1024

太多：训练慢，难去除噪声(over-fitting)

太少：拟合能力下降

考虑真实变量有多少信息量需要传递，然后再稍微增加一点（考虑dropout；冗余表达；估计的余地）

分类任务：初始尝试5-10倍类别个数

回归任务：初始尝试2-3倍输入/输出特征数

这里直觉很重要

最终影响其实不大，只是训练过程比较慢，多尝试

 

loss function

多分类任务一般用cross-entropy不用MSE

多分类一般用softmax，在小于0范围内梯度很小，加一个log可以改善此问题

避免MSE导致的学习速率下降，学习速率受输出误差控制(自己推一下就知道了)

 

AE降维

对中间隐层使用L1正则，通过惩罚系数控制隐含节点稀疏程度

 

SGD

不稳定算法，设定不同的学习速率，结果差距大，需要仔细调节

一般希望开始大，加速收敛，后期小，稳定落入局部最优解。

也可采用自适应的算法，Adam，Adagrad，Adadelta等减轻调参负担(一般使用默认值就可以)

对于SGD需要对学习率，Momentum，Nesterov等进行复杂调参

值得一提是神经网络很多局部最优解都可能达到较好的效果，而全局最优解反而是容易过拟合的解

 

CNN的使用

神经网络是特征学习方法，其能力取决隐层，更多的连接意味着参数爆炸的增长，模型复杂直接导致很多问题。比如严重过拟合，过高的计算复杂度。

CNN其优越的性能十分值得使用，参数数量只和卷积核大小，数量有关，保证隐含节点数量（与卷积步长相关）的同时，大量降低了参数的数量！当然CNN更多用于图像，其他任务靠你自己抽象啦，多多尝试！

 

这里简单介绍一些CNN的trick

pooling或卷积尺寸和步长不一样，增加数据多样性

data augumentation，避免过拟合，提高泛化，加噪声扰动

weight regularization

SGD使用decay的训练方法

最后使用pooling（avgpooling）代替全连接，减少参数量

maxpooling代替avgpooling，避免avgpooling带来的模糊化效果

2个3x3代替一个5x5等，减少参数，增加非线性映射，使CNN对特征学习能力强

3x3,2x2窗口

预训练方法等

数据预处理后(PCA,ZCA)喂给模型

输出结果窗口ensemble

中间节点作为辅助输出节点，相当于模型融合，同时增加反向传播的梯度信号，提供了额外的正则化

1x1卷积，夸通道组织信息，提高网络表达，可对输出降维，低成本，性价比高，增加非线性映射，符合Hebbian原理

NIN增加网络对不同尺度的适应性，类似Multi-Scale思想

Factorization into small convolution，7x7用1x7和7x1代替，节约参数，增加非线性映射

BN减少Internal Covariance Shift问题，提高学习速度，减少过拟合，可以取消dropout，增大学习率，减轻正则，减少光学畸变的数据增强

模型遇到退化问题考虑shortcut结构，增加深度

等等

 

RNN使用

小的细节和其他很像，简单说两句个人感觉的其他方面吧，其实RNN也是shortcut结构

一般用LSTM结构防止BPTT的梯度消失，GRU拥有更少的参数，可以优先考虑

预处理细节，padding，序列长度设定，罕见词语处理等

一般语言模型的数据量一定要非常大

Gradient Clipping

Seq2Seq结构考虑attention，前提数据量大

序列模型考率性能优良的CNN+gate结构

一般生成模型可以参考GAN，VAE，产生随机变量

RL的框架结合

数据量少考虑简单的MLP

预测采用层级结构降低训练复杂度

设计采样方法，增加模型收敛速度

增加多级shortcut结构