自然语言推断:使用注意力

http://zh-v2.d2l.ai/chapter_natural-language-processing-applications/natural-language-inference-attention.html

some questions:

  1. 这节看似简单,但模型/代码层面隐含着诸多细节。从这节中我总结了一些rules:
    a. 无论是cv,nlp,时序数据等均是 numeric data to numeric data
    b. NN 可以优雅处理sum, mean 等价任务
    c. 所谓的‘对齐,比较,聚合’ 可看作是 ‘洞察,差异化,预测’, 即‘发现问题,分析问题,解决问题’ 过程一致性

  2. 看了 attending小节后,我就自然地想到后面的 comparing,aggregating大概要做的事情。其中我使用了另外的comparing方案,虽然效果比MLP差一些