NEXT TOKEN

文字接龙：下一个词从概率榜里跳出

大模型每蹦一个词之前，手里都攥着一张候选词概率榜。看这张榜，怎么一步一步把句子接出来。

关键点

逐词生成｜每步只接一个词，接完再算下一张榜
概率榜｜候选词各带概率，最高者出线
候选 = 表征｜榜上每个词，都是此刻可调用的内部表征

← 上一节 · 01

“意识”？其实是“可调用的数学表征”

下一节 · 03 →

自注意力：把前文的信息搬回来