从原理到代码，拆解 Transformer 自注意力机制与多头结构

拆解自注意力：从 QKV 计算到权重可视化

很多开发者在使用 Hugging Face 的transformers库时，往往直接调用pipeline或from_pretrained就能得到惊艳的结果。这种“黑盒”式的便捷虽然高效，却容易让人忽略模型内部真正的运作逻辑。对于希望深入底层、具备自定义架构能力的算法学习者而言，剥离框架封装，直击 Transformer 的核心机制是必经之路。今天我们就抛开高层 API，从数学原理到代码复现，彻底搞懂自注意力与多头结构。

核心机制：QKV 与点积注意力的数学本质

Transformer 的灵魂在于自注意力机制（Self-Attention），而理解它的关键在于搞清楚 Query（查询）、Key（键）和 Value（值）这三个向量的来龙去脉。

当输入序列进入模型后，每个词向量都会通过三个不同的线性变换矩阵（WQ,WK,WVW^Q, W^K, W^V