深圳陆兮科技有限公司

岗位职责：1. 负责通用语言大模型与多模态模型的端侧推理优化与量化，在 Android / iOS / Linux 等平台稳定上线，达成延迟、内存、功耗与稳定性目标。 2. 从训练框架导出到目标引擎（如 ONNX Runtime Mobile、llama.cpp/GGUF、MNN、sherpa-onnx 等）并保证算子/图优化与精度对齐。 3. 负责端到端推理流水线，包括模型压缩、格式转换、算子/内核适配、自动化评测、崩溃与性能回溯。 4. 设计并维护针对不同硬件的加速方法，包括iOS/Apple Silicon（Core ML/ANE/Metal），Android（CPU/GPU/NPU），端侧芯片（如rk3588，jetson等）。 5. 建立性能与能耗基准体系：TTFT、吞吐（tok/s 或 QPS）、峰值/常驻内存、包体/模型体积、加载时延/冷启动与稳定性。 6. 跨团队协作：与算法侧共建量化校准与精度评估；与客户端/平台侧共同开发应用。 任职要求：1.计算机科学、软件、人工智能、电子工程、数学等相关理工科专业，本科以上学历。 2.扎实的 Python / C / C++ 能力与工程素养，理解计算机体系结构与基础的芯片架构知识。 3.熟悉至少一种端侧推理引擎与计算后端（如 ONNX Runtime Mobile、MNN、Core ML、TensorRT-lite/DirectML、移动端 GPU/NPU API 等）。 4.熟悉量化与推理优化，包括权重量化/激活量化/混合精度、校准集与误差分析、算子融合与内存规划、KV-cache 管理等。 5.具备自驱力、工程能力、沟通能力和团队协作精神。