岗位职责： 参与大模型推理平台的工程落地，负责推理服务在NVIDIA GPU及国产GPU环境下的部署与维护。 参与Prefill-Decode（PD）分离部署架构的实现，协助完成Prefill池与Decode池的请求调度逻辑开发。 基于vLLM、TensorRT-LLM等主流推理框架进行二次开发，参与KV Cache管理等核心模块的优化。 编写和优化CUDA / MXMACA Kernel，参与Flash Attention、PagedAttention等算子的性能调优。 使用Nsight Systems等性能分析工具进行推理服务的性能测试与瓶颈分析。 参与推理全链路的性能测试，建立benchmark测试体系，量化优化效果并输出测试报告。 参与国产GPU推理框架的适配工作，保障模型在异构算力平台上的稳定运行。 任职要求： 硕士及以上学历，计算机、软件工程、电子信息、自动化、计算数学等相关专业。 熟练掌握C/C++和Python，有良好的编码习惯与工程素养。 了解GPU编程基础（CUDA或类似并行计算框架），对计算机体系结构、操作系统、数据结构与算法有扎实理解。 了解PyTorch、TensorFlow等深度学习框架的基本使用，对Transformer架构有一定认知者优先。 对大模型推理技术有浓厚兴趣，具备快速学习新技术的能力；有开源项目参与经历或个人技术实践项目者优先。