参考答案
结论：QKV分别是查询(Query)、键(Key)、值(Value)矩阵，由输入向量线性变换得到，用于注意力计算。原理：输入X(shape: [seq_len, d_model])分别乘以可学习权重Wq,Wk,Wv得到Q,K,V；注意力分数通过softmax(Q·K^T/√d_k)计算相似度，再乘V得到加权输出。要点：Q与K点积衡量token间相关性，V承载实际信息；多头时将QKV拆分多个头并行计算再拼接；示例：输入维度512，单头d_k=64，Q,K,V均为[seq_len,64]，输出经线性层映射回512。