Q1感觉可以理解为权重矩阵为对角矩阵的全连接层
我的理解(不知道对不对)是这个地方是在证明卷积和全连接的区别(注意下标被重新索引了),当更换需要得到的像素位置的时候,全连接的权重也会有改变(会去使用新的像素位置的权重),为了实现平移不变性Vab相当于卷积核的权重,这样当卷积核移动的时候,权重是共享的。
我不太理解6.1.1式中的W为什么是四阶权重张量,有人可以给我解答一下嘛?万分感谢!
你可以把[W]i,j,k,l的值看作是参数为i,j,k,l的四元函数。由于k=a+i, l=b+j, 即k和l也可以用i,j,a,b表示,即也可以将其看作i,j,a,b的四元函数,因此可以存在另一个四元函数[V]i,j,a,b,当满足k=a+i, l=b+j时,[V]i,j,a,b其值与[W]i,j,k,l相同。你的误区在于直接将对应的W和V的一对元素的下标等同起来了。或者换个说法,如果把k=a+i和l=b+j写成k=f(a, i),l=g(b, j),[W]i,j,k,l = [W]i,j,f(a, i),g(b, j),再将其写成以i,j,a,b为变量的四元函数,则是[V]i,j,a,b,因此二者之间存在双射关系,但不是恒等映射。希望对你有帮助。
其实可以把这里的四阶张量理解为四元函数。确定是几阶张量就是要确定函数有几个自由度。因为以传统全连接层的视角,要确定隐藏层中一个点的值,需要以原图中的一个点(i, j)为中心加权处理周围某个范围内的一整片像素值,只考虑单通道的情况下,权重矩阵需要对这一整片图像里的每一个点的像素加一个权重值,因此一个权重值需要四个变量来确定,即中心的位置i,j,以及周围的某个像素的绝对坐标k和l。如果把k和l用相对于(i, j)的相对坐标来写的话即a, b,权重矩阵就从[W]i,j,k,l变成了[V]i,j,a,b。后面加入平移不变性,所以i,j这两个参数就不需要了,因为只要a和b确定,对任何i, j,函数的值都不变化。而局部性就是控制了相对位移a和b的范围,并不需要遍历整张图像,而是只计算中心点附近的一块。