面试真题

结论：大模型训练主要分为数据准备、预训练、微调对齐、评估与部署四个阶段。核心要点：1.数据准备：收集大规模语料，清洗、分词（如BPE），构建训练样本；2.预训练：采用自监督目标（如因果语言建模），使用分布式训练（数据/模型并行、ZeRO）和混合精度加速；3.微调：进行监督微调（SFT）及人类反馈强化学习（RLHF）对齐指令；4.评估：通过困惑度或下游任务准确率验证效果；5.部署：量化压缩、推理优化（如KV Cache）后提供服务。整个流程需大规模算力与工程优化。