华为HUAWEI

岗位职责：【大模型算法——训练方向】 1. 负责大模型训练全流程工作，包括训练数据构建与质量治理、训练稳定性与收敛性优化、训练效率提升及训练基础设施的持续迭代，支撑千亿参数级模型的高效训练； 2. 开展投机解码（MTP、Eagle3、DSpark等）技术研究，探索高效的推测性解码算法与策略，提升大模型推理速度，降低推理成本； 3. 研究模型量化与蒸馏等技术，设计更优的知识迁移策略与低比特量化方案，实现大模型向小模型的能力高效传承，兼顾能力保持与部署效率； 4、探索如Transformer下一代大模型架构，以及多模态VLM/VLA训练，推动视觉-语言-动作联合理解，并能够在Megatron-LM、DeepSpeed等训练框架上取得优化。 【大模型算法——推理方向】 1、负责推理引擎底层性能优化，基于主流 AI 框架（如 vLLM、TensorRT-LLM、PyTorch等）的内核架构与算子执行流程，研究并落地异步调度、算子下发、算子融合、XLA编译等优化技术；参与推理引擎多硬件后端适配层开发，支持GPU、昇腾 NPU等算力平台，针对不同硬件特性适配图执行策略； 2、参与大规模分布式推理系统的设计与实现，深入模型量化（Quantization）（含 PTQ/QAT）、KV压缩、模型稀疏等技术，在精度无损前提下最大化推理吞吐与资源利用率； 3、参与 Prefill-Decoding 分离部署架构的设计与实现，实现资源隔离与独立扩缩容；优化 PD 分离下的 KV Cache跨节点传输机制，设计高效的传输协议，降低分发开销；设计 PD分离下的请求路由与负载均衡策略，实现集群全局最优的吞吐与延迟； 4、实现 Continuous Batching / Chunked Prefill 等先进调度策略，消除 GPU 空闲气泡；负责长序列、多模态、Agent多轮等复杂场景的推理性能优化，解决 Token冗余、上下文膨胀、跨模态调度等难题；构建基于任务复杂度的动态模型调度与分发系统，实现请求级优先级管理、QoS保障与多租户隔离；构建端到端 Profiling 与可观测性体系，涵盖 TTFT、TBT、TPOT 等关键指标的实时采集与归因分析。 【大模型应用开发】 1、负责MaaS（模型即服务）平台的架构设计与开发，实现大模型标准化部署、版本管理与API化输出，支撑多业务线快速接入； 2、研发与优化大模型推理引擎，基于vLLM、SGLang、TensorRT-LLM等框架进行性能调优，提升吞吐量、降低推理延迟与显存占用； 3、建设大规模GPU集群调度系统，设计弹性扩缩容策略与任务队列管理，实现资源配额与优先级调度，保障服务稳定性并提升算力利用率； 4、构建LLMOps与AI辅助研发服务体系，覆盖模型发布、灰度升级、监控告警与AB实验的全链路工程化闭环，同时将大模型能力落地于代码辅助生成、CI/CD智能诊断等研发场景，提升整体研发效率。 【AI算子技术】 1. 参与大模型推理场景下高频算子的设计与开发，涵盖自回归解码（Decoding）阶段的FlashDecoding、PagedAttention及其变体、MoE（Mixture of Experts） 路由与融合计算、RoPE/SiLU/GELU等激活函数融合算子，以及Prefill阶段的大Batch GEMM优化实现，推动成果落地产品并产生商业价值； 2. 负责大模型弹性推理场景下通信算子（Communication Kernels） 的设计与优化，涵盖All-Reduce、All-Gather、Reduce-Scatter、Send-Recv等集合通信算子在推理多卡/多节点场景的高效实现； 3. 参与算子性能优化、精度分析和计算图优化方案的开发，通过数学等价变换、流水编排、深度融合、调度优化、Tile优化等手段提升算子性能，为端到端训推系统性能提供基础支撑； 4. 参与高性能算子库、基础加速库、算子开发框架的编码与测试，包括AscendC、Triton、TileLang、CUDA等编程语言的相关实现； 5. 参与自动算子生成工具的研发，利用AI Agent技术提升算子开发的自动化程度和效率； 6. 参与业界前沿技术调研，协助专利申请和技术报告撰写，参与开源社区贡献，与团队共同提升在业界的技术影响力。 【大模型算法方向】 1、探索新的模型结构优化方法(含蒸馏量化压缩剪 枝及MoE架构)以及神经网络原理的数学建模方法; 2、探索下一代NLP大模型架构创新; 3、探索下一代多模态理解&生成类大模型架构创新 【AI系统算法方向】 1、洞察下一代Al系统的前沿技术,参与关键技术突 破。 2、参与下一代Al系统设计与实现,探索并构建模型 压缩、投机解码、注意力稀疏等关键算法; 3、参与面向下一代AI应用(包括但不限于大模型、 AIGC等)的关键算法设计与优化 任职要求：1、计算机科学、人工智能、数学等相关专业硕士及 以上;具备扎实的数学、算法和编程基础 2、熟练掌握深度学习/强化学习相关算法,熟悉 PyTorch等Al开发框架,熟悉大规模分布式计算、并 行计算相关算法及框架。 3、在模型结构设计、预训练、SFT、大模型训练优 化(分布式训练、训练策略寻优等)、大模型推理优 化(投机解码、attention稀疏、量化等)等方向的实 践或者科研经历;, 4、有顶会最佳论文、ICPC等顶级竞赛金牌、 GitHub等开源平台成功项目经验者优先。