【岗位职责】 1.负责多模态大模型（如 LLaVA、Qwen-VL、GPT-4V 类架构）的模型设计、训练策略制定与性能优化。 2.研究视觉编码器（ViT/CLIP/SigLIP）与大语言模型的对齐机制，包括投影层设计、指令微调（SFT）、RLHF/DPO 对齐。 3.主导预训练、指令微调、多模态上下文学习（In-context Learning）及模型压缩（量化、剪枝、蒸馏）的全链路。 4.负责模型推理加速（vLLM、TensorRT-LLM、FlashAttention、投机解码等），解决长上下文、高并发场景下的延迟与吞吐问题。 5.构建多模态数据 pipeline（图文对、视频-文本、交互相机数据），设计数据清洗、去重与质量评估策略。 6.将 MLLM 能力封装为 API 或 SDK，支撑产品侧的图文理解、视觉问答、多模态 Agent 等应用。 【任职要求】 1.计算机、人工智能、数学等相关专业，硕士及以上学历优先。 2.精通 PyTorch/JAX，具备大规模分布式训练工程经验（千卡集群、模型并行、数据并行、ZeRO/PP/TP）。 3.深入理解 Transformer、ViT、LLaVA、Qwen-VL、GPT-4V 等多模态大模型架构，具备预训练/SFT/RLHF 全流程实操经验。 4.扎实的强化学习理论基础，熟悉 PPO、GAE、Diffusion Policy、ACT、RT-1/RT-2、π0 等算法。 5.优秀的代码能力（Python/C++），熟悉 ROS2、Isaac Sim/Gym、MuJoCo、Gazebo 等仿真与中间件生态。