调参技巧

一、参数和超参数

参数即是我们在过程中想要模型学习到的信息(模型自己能计算出来的),例如 $W^{[l]}$,$b^{[l]}$。

超参数(hyper parameters)即为控制参数的输出值的一些网络信息(需要人经验判断)。超参数的改变会导致最终得到的参数 $W^{[l]}$,$b^{[l]}$ 的改变。

典型的超参数有:
(1)学习速率:α
(2)迭代次数:N
(3)隐藏层的层数:L
(4)每一层的神经元个数:$n^{[1]}$,$n^{[2]}$,…
(5)激活函数 g(z) 的选择

当开发新应用时,预先很难准确知道超参数的最优值应该是什么。因此,通常需要尝试很多不同的值。应用深度学习领域是一个很大程度基于经验的过程。

比如常见的梯度下降问题,好的超参数能使你尽快收敛:

sgd_good
sgd_bad