朗坤科技

1.按模型、GPU配置、输入输出长度及并发量建立性能基线，统一测量吞吐、首Token时延、后续生成速度、请求成功率和单位成本。 2.优化推理引擎、连续批处理、KVCache、前缀缓存及显存分配，减少重复计算、排队等待和资源浪费，提高可交付吞吐。 3.根据模型与硬件条件评估量化、投机解码和算子优化等方案，联合算法团队完成效果回归、延迟与稳定性验证。 4.设计多卡、多机推理方案，结合拓扑和负载选择并行策略，按实际瓶颈评估输入处理与生成阶段分离等架构。 5.使用性能分析工具定位CPU、GPU、显存带宽、通信、分词和模型加载等瓶颈，推动代码、配置及基础设施协同改进。 6.在固定效果及服务约束下测试功率策略与部署密度，形成单卡有效产能、每百万Token成本及能耗报告，标明计量边界。 7.为客户方案、容量规划及定价评估提供实测依据，区分输入、输出及缓存等业务口径，与运营和财务共同评估成本改善。 8.将优化方案交付GPU与AI平台运维团队进行生产发布，协同完成灰度验证、回滚及持续监控，沉淀可复现的压测脚本和标准配置。

1.计算机、人工智能、电子信息或相关专业本科及以上学历。 2.熟悉Transformer推理流程，理解Prefill、Decode、KVCache、量化、批处理以及计算、带宽和通信瓶颈。 3.深入使用过vLLM、SGLang、TensorRT-LLM等至少一种推理框架，能够解释关键配置对吞吐、延迟、显存及效果的影响。 4.熟练使用Python、Linux及容器，掌握Nsight、PyTorchProfiler或同类性能工具，能够根据分析结果实施优化。 5.具备多GPU部署及分布式通信排查能力，理解硬件拓扑和NCCL等通信机制对模型推理的影响。 6.能够设计包含真实负载、质量和高分位延迟约束的对照测试，说明缓存及测试条件，提供可复现的性能改善案例。 7.具备容量、成本和能耗分析能力，能够阅读英文技术资料，并与算法、硬件、运维和商业团队协作。