针对序列级和词元级应用程序微调BERT

http://zh-v2.d2l.ai/chapter_natural-language-processing-applications/finetuning-bert.html

我们可以用查询短语标记的最相关的新闻作为正样本(1), 然后从新闻池中随机选取一篇新闻与查询短语构成负样本(0),最后应用softmax分类器将此问题转化为二分类问题。即与查询语句最相关的输出1,其他的输出0.