D2L Discussion
多头注意力
中文版
pytorch
faraway
July 11, 2025, 8:24am
68
运算方式不一样的,注意力的softmax,矩阵乘法都和单头不一样,看起来像单头只是因为一开始对Q,K,V的线性变换用了矩阵分块乘法的想法。
yolo-0
March 16, 2026, 7:27am
69
这个说的是做完self.W_q*queries后的形状,,
Master-Brian
September 7, 2026, 9:35am
70
image
1250×457 22.7 KB
所以这个分叉的箭头其实是拆分特征,而不是复制嘛,我一开始理解为复制h份qkv数据;
如果是拆分特征的话,是不是本节的W_q、W_k、W_v其实是多头共享的,然后W_o因为是拼接起来的,所以对于不同头输出的参数是不同的
← previous page