参考答案
结论：Faster Transformer是NVIDIA开源的针对Transformer类模型（如BERT、GPT）的高性能推理加速库，通过底层优化显著提升吞吐并降低延迟。核心要点：1. 原理：提供高度优化的CUDA内核，实现算子融合（如LayerNorm、Attention计算合并）、精度支持FP16/INT8量化、以及多GPU张量并行；2. 对比：相比原生PyTorch/TF推理，消除Python开销与冗余核启动，显存占用更低，时延可达数倍优化；3. 结构：包含C++ API与Python封装，支持从权重转换到执行推理的流程；4. 示例：使用ft::BertModel加载预训练权重，调用forward得到结果。适用于对话、搜索等在线服务场景。