# Normalization

# ICS

ICS: 内部协变量转移， Internal Covariate Shift . 在训练多层神经网络，每一层的神经网络在训练过程当中，它的参数是会发生变动的，前一层网络参数的变动会影响下一层的输入数据，如果数据分布发生重大变化，就会导致训练过程中收敛慢、不稳定的问题。固为了达到好的训练效果，需要采取一些小心翼翼的策略，比如减小学习率，精心初始化参数，有时还需要 Dropout 技巧.

# Batch Normalization^[1]

批归一化 BatchNorm , 一种加速深度神经网络训练速度的方法。同时可以减少 ICS 问题。可以使得在训练时大胆的使用跟高的学习率和初始化参数，在一定程度上可以具有正则化效果，防止过拟合的功效.（一定程度与 Dropout 等效）

# Layer Normalization

# 参考文章