Dropout

https://zh-v2.d2l.ai/chapter_multilayer-perceptrons/dropout.html

请问在init_weights中,为什么只对weight初始化而没对bias进行初始化呢?

请问 dropout 公式那里,对于h,为什么要除以一个1-p.
对应的原文是“通过按保留(未丢弃)的节点的分数进行归一化来消除每一层的偏差”。
该如何理解?

1 Like

参考一下nn.Linear()的文档,这个函数自动会对w和b进行uniform的初始化。这里是想要把w改成高斯分布才特意强调的。

1 Like

按照老师的视频的说法,是为了保持期望一致。所以除以1-p