优化和深度学习

https://zh.d2l.ai/chapter_optimization/optimization-intro.html

除了课程里介绍的几种优化算法,把进化算法(EAs)用于深度学习的优化是否有相关的例子呢

2 Likes

以下答案为个人观点,错误的地方请大佬指点:)

Q1

题目中的$d!$个等效方案翻译成等效解更好一点。

我们令输出层的输出为$Y_{out} = (w_1x + w_2x+…+w_d*x) + b$ 损失函数为$Loss(Y_{out}, Y_{true})$

题目中说对于任何local minima的点有$d!$个等效解,则说明不用考虑损失函数单调的情况(如$Loss = Y_{true}-Y_{out}$)

另外题目中的解针对的是权重$W = (w_1,w_2,…,w_d)$,因为$w_i$是可变的,$x$是传入的参数不可变的(我之前误解了)

等效解即为让$Y_{out}$值不变的解,因此只要对$W$内部的元素$w_i$进行全排列即可,故有$A^d_d = d!$种解。

Q2

(1) 将$|A-\lambda|$行列式中每一行取负数,因为$|A-\lambda| = 0$,所以$|-A - (- \lambda)| = -1^n|A + \lambda| = 0$

故$-\lambda$也是特征值。所以$P(\lambda>0) = P(\lambda<0)$。

(2) 因为还有$\lambda = 0$情况,即$Ax=0$ ,当$A$不可逆时有解。

Q3

合适的损失函数的选择问题,过拟合、泛化能力弱问题,梯度下降学习率选择问题

Q4

(1) 由于存在重力加速度,球下落的速度会逐渐变快

(2) 可以通过二阶导大小等来调节学习率