D2L Discussion
TR位置编码问题
中文版
pytorch
jinyu
August 23, 2022, 5:06am
1
最近在看DETR源码发现里面的TR模块是只对QK施加位置编码(左),而d2l中TR的实现是QKV都进行了位置编码(右),
请问这两种编码方式有什么区别,哪个更加合理?
M7B1M71_ID$V%}BAS)NPJ_7
2459×668 146 KB