https://zh.d2l.ai/chapter_multilayer-perceptrons/numerical-stability-and-init.html
请问:
本章小结中,“Xavier初始化表明,对于每一层,输出的方差不受输入数量的影响,任何梯度的方差不受输出数量的影响。”
对这句话的是不是可以理解为,输出的方差不受输入数量的影响的前提条件,是不是每层必须按照 Xavier 的方差与Nin,Nout 的关系公式初始化权重值?
请问:
本章小结中,“Xavier初始化表明,对于每一层,输出的方差不受输入数量的影响,任何梯度的方差不受输出数量的影响。”
对这句话的是不是可以理解为,输出的方差不受输入数量的影响的前提条件,是不是每层必须按照 Xavier 的方差与Nin,Nout 的关系公式初始化权重值?