多层感知机

1、x<0, ∂, x>0 1
2、忽略偏置,很好证,加上偏置就是进行平移
3、带入公式即可
4、直接使用非线性单元,如relu,部分数据会被忽略,丧失部分学习能力。

  1. prelu的导数为:y=1(x>0),y=a,(x<0),y=0(x=0)

他说的对,直接把这一行注释掉就可以了,没啥用