Bahdanau 注意力

http://zh.d2l.ai/chapter_attention-mechanisms/bahdanau-attention.html

在Decoder的forward函数中query和value用的是Encoder的outputs,这里用Encoder的hidden states是不是会好一点。

这里encoder的outputs就是他的最后一层hidden states,因为encoder没有加输出的FC和softmax层