ATTENTION · 自注意力

自注意力：把前文的信息搬回来

Attention 是搬运工：判断前文哪些词和当前预测最相关，把它们的信息抓回来，微调下一个词的方向。

关键点

查询｜当前位置先问：谁和我最相关？
搬运｜命中词的信息打包，搬回当前位置
微调｜汇入信息流，修正下一个词的预测方向

← 上一节 · 02

文字接龙：下一个词从概率榜里跳出

下一节 · 04 →

多层感知：认出“这是哪类问题”