下班1小时Day7 | Attention 学习

Transformer 的注意力机制本质是在为每个 Token 生成“上下文化表示”先把输入投影成 Query、Key、Value再用 Query 与 Key 计算相关性通过 softmax 得到权重最后按权重汇聚 Value。Scaled Dot-Product Attention 解决“如何计算关系”Multi-Head Attention 让模型从多个子空间并行观察不同依赖Masked Self-Attention 保证自回归模型不能偷看未来Cross-Attention 则让 Decoder 能读取 Encoder 的源序列信息。理解这条主线就能把 Transformer 中最核心的结构串起来不是简单记忆词序而是学习 Token 之间可计算、可组合的关系。