关于团队: Compass 是由 Shopee 研发的面向全球竞争的超大规模多语言模型，具备强大的跨文化理解、复杂逻辑推理与自主执行能力。依托全球新兴市场（尤其是东南亚）海量的多语言、多文化数据优势，Compass 系列模型已成功实现了从 v1 到 v3 演进。当前，我们正聚焦前沿技术突破，全力打造架构更先进、能力更卓越的下一代基座大模型，打造全球领先的多语言与自主智能体（Agentic LLM）技术体系。我们将通过对算法和数据策略的深入研究，建立科学的 scaling law 指导规划，攻克训练与推理加速瓶颈，打通从数据治理到智能涌现的确定性路径。我们追求将现有的预训练技术做到极致。 职位描述 • 模型结构探索： 参与大语言模型基础架构（如 Transformer 及其变体，MoE 等）的研究与实验；协助评估高效的 Attention 机制及新型网络结构，探索突破长上下文（Long-context）瓶颈的方案。 • 预训练策略与实验： 参与超大规模模型预训练的日常实验与维护；协助团队进行 Scaling Laws 的相关数据跑测与验证；跟踪前沿 Paper，尝试落地新的训练策略（如 Curriculum Learning、优化器改进等）。 • 预训练数据处理与分析： 参与海量多模态/多语言预训练数据的数据清洗与特征分析；协助团队设计并验证数据混合（Data Mix）与采样策略，观察其对模型在逻辑推理、代码、数学等核心能力上的影响。 • 分布式框架学习与支持： 在资深工程师的指导下，学习主流分布式训练框架（如 DeepSpeed、Megatron-LM）；协助监控大规模集群的训练状态，参与排查和分析训练过程中的 Loss Spike 等异常问题。 职位要求 必须（Must-have） • 学历专业： 计算机、人工智能、数据科学、数学等相关专业硕士及以上学历。 • 编程功底： 具备扎实的算法与数据结构功底，精通 Python，熟练掌握 C++，具备出色的工程实现能力。 • AI与框架底座： 深入理解 NLP/LLM 基础理论，熟练使用 PyTorch，对大模型的核心算子有深入了解。 • 分布式计算： 熟悉至少一种主流大规模分布式训练框架（如 Megatron-LM, DeepSpeed, Colossal-AI），深刻理解数据并行、张量并行、流水线并行及 ZeRO 等内存优化技术。 • 问题解决： 具备极强的 Debug 能力和问题诊断能力，能够快速定位并解决模型训练中的算法缺陷与系统瓶颈。 加分项（Nice-to-have） • 熟悉 MoE 训练框架（如 DeepSpeed-MoE、Tutel、Megablocks），对大规模 Expert Routing、负载均衡与专家并行有深入理解。 • 熟悉长上下文技术（RoPE 插值、NTK Scaling、Mamba/Linear Attention、分块注意力等）。 • 有跨模态与文本联合预训练经验（视觉、语音、多模态 Embedding 等） • 有 百亿级（100B+）以上参数规模模型 的训练、优化或落地经验者优先。 • 在国际顶级会议（如 NeurIPS、ICLR、ICML、ACL、EMNLP）发表论文者优先。