面壁智能

【岗位职责】 1. 参与大模型预训练 Infra 框架的维护与迭代，协助保障训练系统的稳定性与可扩展性； 2. 参与 MoE 架构的训练优化工作，包括 Expert 并行、负载均衡、通信优化等方向； 3. 协助设计与优化并行策略（TP/PP/DP/EP/SP），提升大规模训练的吞吐量与资源利用率； 4. 配合算法团队，协助适配新模型架构至现有训练框架。 【任职要求】 1. 硕士在读，计算机、人工智能等相关专业，实习时间不少于 3 个月； 2. 理解 Transformer、MoE 等主流模型架构的基本原理； 3. 了解分布式训练基本概念，接触过 Megatron-LM、DeepSpeed、FSDP 中至少一种框架； 4. 了解常见并行策略（Tensor Parallel、Pipeline Parallel、Expert Parallel 等）的基本思路； 5. 熟练使用 PyTorch，有实际的模型训练经验； 6. 对大模型 RL 训练（RLHF/GRPO 等）有基本了解； 7. 学习能力强，具备良好的代码能力与问题排查意识。 加分项 1. 有 MoE 模型训练或相关加速库使用经验； 2. 了解 Flash Attention、混合精度训练、Activation Checkpointing、ZeRO 等优化技术； 3. 有 CUDA/Triton 算子开发或 GPU 性能分析（Nsight、NCU 等）经验； 4. 有开源训练框架的源码阅读或贡献经验； 5. 有相关方向的论文阅读或复现经历。