参考答案
结论:Transformer的输出包括每一层后的隐藏状态序列,最终输出取决于任务(编码器的上下文表示或解码器的预测logits)。核心要点:单层输出为自注意力计算加权求和,经残差连接与LayerNorm,再经前馈网络同样残差+Norm;编码器输出为输入序列的上下文向量序列,维度[d_model];解码器输出经Linear和Softmax得到词表概率分布,或取最后位置隐状态;多头注意力使每个位置融合全局信息。示例:输入序列长N,输出张量形状[N, d_model](编码器)或[N, vocab_size](解码器预测);原理:自注意力公式Attention(Q,K,V)=softmax(QK^T/√d)V。