北京地平线信息技术有限公司

岗位职责： 这个岗位处在自动驾驶数据闭环的上游：从海量路测与回灌数据里，把真正值得标注、值得训练、值得回归的那一小部分找出来，再用 VLM 与 Agent 把“场景”变成结构化、可检索、可复用的数据资产。你面对的是规模庞大的 clip 池、稀疏的长尾信号，以及“挖出来的数据到底有没有用”这个必须用实验回答的问题。交付物是数据集、评测集、分析报告和可复现的推理流水线。 Scenario Mining 与 Bad Case 挖掘链路已经在运行，你接手其中一个真实课题，结果直接进入下一轮训练和评测。 核心职责 长尾场景挖掘（Scenario Mining）：先用规则与统计信号（感知置信度、轨迹冲突、急刹与接管、目标类别稀有度、场景标签分布）做粗筛，再结合 VLM 与 Agent 做语义复核与排序；交付可复核的 Corner Case 与 Hard Case 候选清单、命中率统计和漏筛分析，而不是一次性脚本。 场景理解与自动打标：用 Qwen-VL、InternVL、LLaVA 一类视觉语言模型对 clip 做场景描述、目标属性抽取与危险度判断；设计 prompt、few-shot 示例与抽检机制，交付可入库的结构化标签、标注规范与一致性报告，量化其与人工标签的一致率。 数据集与评测集构建：围绕具体能力项（cut-in 加塞、施工区、异形障碍物等）定义数据规格、采样策略与难例配比，完成去重、分层采样和训练／验证／测试隔离；交付带版本、带分布分析与已知偏差说明的数据集、评测集和数据卡。 Batch Inference 流水线：用 vLLM、SGLang、TensorRT-LLM 把 VLM 推理跑成稳定的离线批处理流水线，处理抽帧采样、批大小与显存、失败重试、结果落库、吞吐与成本统计；交付可复现、可审计的推理流水线及其成本与质量报告。 Agent 化数据挖掘：基于 Tool Calling、MCP、RAG、Multi-Agent 把“检索数据—看片段—调模型—校验—汇总”串成可重复执行的挖掘 Agent，让业务方用自然语言提需求；交付 Agent 工作流、查询模板和接入说明。你的工作从逐条看数据，变成设计规则、检查中间结果与验收产出。 数据有效性验证与 Bad Case 归因：设计“加了这批数据模型有没有变好”的对照实验，按场景切片看指标变化，并把失败样本归因到数据缺失、标注错误、模型能力边界或评测口径；交付可复现的实验报告、补数清单和回归用例，推动需求进入下一轮数据闭环。 岗位要求： 计算机、人工智能、机器人、自动化、车辆工程或相关专业硕士／博士在读，能保证实习时间。 熟练使用 Python，能用 NumPy、Pandas、OpenCV 独立处理大规模文件与标注（parquet、jsonl、视频抽帧），会写 SQL 或用过 Spark、DuckDB；代码写得清楚，别人能复跑。 真正用过至少一种视觉语言模型或多模态模型（Qwen-VL、InternVL、LLaVA、CLIP 等），能说清它的输入输出形式、常见失效方式，以及显存与吞吐上的代价，而不只是调用过 API。 理解检测、跟踪、分割或图文检索的基本概念，能读懂 precision、recall、mAP、覆盖率这类指标，并知道指标好看不等于场景选对了。 理解自动驾驶场景的基本构成：感知输出、轨迹与规划、接管与急刹、场景标签、clip 与帧的关系；能自己定义“什么样的样本值得挖”，并用分布、覆盖率、召回率证明挖掘有效，而不是凭感觉挑图。 能读英文论文和官方文档，能把一次挖掘实验写清楚：目标、方法、指标、失败案例、下一步，结论能用数字和样例支撑。 加分项 有自动驾驶、机器人或视频理解相关的项目、论文或竞赛经历，能说清数据从哪来、怎么筛、最后模型指标提升了多少。 做过 Scenario Mining、长尾数据挖掘、主动学习或难例挖掘，能讲清筛选信号、命中率和最终收益。 有 VLM 微调、蒸馏、量化或大规模 Batch Inference 的实践经验，处理过显存、吞吐、失败重试与成本问题。 自己搭过用于数据处理的 Agent 或 RAG 系统（Tool Calling、MCP、Multi-Agent），能说明它替你省掉了哪一步人工、又在哪一步不可靠。 了解向量检索、聚类、主动学习等数据选择方法，或熟悉自动驾驶数据的常见形态（clip、关键帧、多传感器、标注文件）。 实习期间可能参与的课题 施工区与锥桶场景的长尾挖掘：现有规则召回不足，需要结合 VLM 场景描述重做筛选口径，把待人工复核的样本量压到可标注规模。 异形障碍物自动发现：针对掉落物、动物、散落货物，用开集检测加 VLM 复核，建立不依赖固定类别的挖掘链路。 接管与急刹事件的长尾归因：把接管片段按触发原因（感知漏检、预测错误、规划保守、遮挡、异形车辆等）分层，找出当前数据集覆盖不足的类别。 VLM 批量标注的成本与质量取舍：在 vLLM、SGLang、TensorRT-LLM 上把单条 VLM 标注的成本压到可承受水平，并量化质量损失与人工一致率。 Agent 驱动的数据探索：用 Tool Calling 与 MCP 把数据检索、场景可视化、模型推理串成 Agent 工作流，让“找一批某类场景并给出统计”变成一句话能完成的任务。