D2L-65-Attention Cues & Attention Mechanisms

Last updated Apr 20, 2022 Edit Source

• All
• Attention
• Deep learning

Tags: #Attention #DeepLearning

• Attention Cue分为两种: nonvolitional cue 和 volitional cue.

Your volition is the power you have to decide something for yourself.

• 我在这里翻译为"自发的"(volitional)和"非自发的"(nonvolitional)信号

• Volitional的信号本身就是醒目的. (intrinsically salient and conspicuous)

• Nonvolitional的信号是你主动去关注的. 比如你想要看书, 所以会去寻找书本的信号.

• 尽管上面的注意力信号分类是粗浅的, 但我们也可以按照这个思路去构造深度学习里面的注意力机制(Attention Mechanism).

• 我们先给两种动机不同的信号起个新名字:

  • Query: Volitional Cue
  • Key: Nonvolitional Cue

• 并且我们称 intermediate feature representations, 也就是 Sensory Inputs 为 Value¹

• 前面我们提到, Query和Key分别代表了两种不同的Attention Cue. 在Attention Mechanism里面, 我们可以将两者通过Attention Pooling结合到一起. 然后与Values一起生成最后的Output.

• One Query + Multiple Key-Value Pairs $\rightarrow$ One Output

• 其实还有其他构造Attention Mechanism的方式.