Tag: PositionalEncoding
D2L-73-Positional_Encoding
D2L-73-Positional_Encoding
位置编码: 将位置信息加入数据 2022-04-27 Tags: #PositionalEncoding #Self-Attention #DeepLearning 为了使用序列的顺序信息，我们通过在输入表示中添加 位置编码（positional encoding）来注入绝对的或相对的位置信息。 我觉得D2L讲的很深入很好了: 10.6. Self-Attention and Positional Encoding Highlights: In binary representations, a higher bit has...