注意力评分函数

中文版 mxnet
1

http://zh.d2l.ai/chapter_attention-mechanisms/attention-scoring-functions.html

1 Like
2

加性注意力里 query 和 keys 的相似度该怎么理解？ 点积注意力很好理解，点积本身就是相似度。
how to understand the similarity between query and kyes in additive attention pooling？

i understand scaled-dot product attention， it likes cosine similarity。

5

这里我也觉得疑惑。我只能理解为相似度在线性层得到学习，即w_k、w_q、w_v，不知道对不对