多头注意力

运算方式不一样的,注意力的softmax,矩阵乘法都和单头不一样,看起来像单头只是因为一开始对Q,K,V的线性变换用了矩阵分块乘法的想法。

这个说的是做完self.W_q*queries后的形状,,


所以这个分叉的箭头其实是拆分特征,而不是复制嘛,我一开始理解为复制h份qkv数据;
如果是拆分特征的话,是不是本节的W_q、W_k、W_v其实是多头共享的,然后W_o因为是拼接起来的,所以对于不同头输出的参数是不同的