诺因

【岗位职责】 岗位职责 1.负责开源数据、业务数据及合成数据的接入、解析、清洗、去重、过滤和格式转换，将多源异构数据加工为适用于预训练、继续预训练、监督微调或偏好优化的训练样本。 2.独立开发和维护自动化数据处理管线，覆盖任务编排、并行处理、增量更新、失败重试、断点续跑、日志监控和异常告警，保障数据生产的稳定性与交付效率。 3.与算法工程师协作，完成对话模板、tokenization、样本截断与拼接、loss mask、多模态样本组织等处理；优化数据分片、缓存、流式读取及 DataLoader 性能，解决训练过程中的数据加载瓶颈。 4.建立自动化校验、抽样检查和质量统计机制，识别脏数据、重复样本、错误标注、分布异常及训练评测集泄漏；维护数据版本、处理配置和来源记录，确保训练数据可追溯、可复现。 5.根据训练日志、评测结果和失败案例定位数据问题，持续优化筛选规则、样本构造和数据配比，形成从问题发现、数据修复到重新交付的闭环。 【任职要求】 1.国内外高校硕士或博士应届毕业生，计算机、人工智能、数据科学、软件工程等相关专业。 2.具备大模型训练数据处理经验，曾参与实际模型训练项目，负责过重要数据集或完整数据管线，并经历多轮数据交付与训练迭代；能够清楚说明数据规模、处理流程、质量标准、个人贡献及实际效果。 3.具备扎实的工程开发能力，熟练使用 Python、Linux、Git，能够编写模块化、可测试、可维护的生产代码；具备大文件、多进程或分布式数据处理经验，能够独立定位性能、内存、存储和任务稳定性问题。 4.理解模型训练对数据的具体要求，熟悉预训练、SFT、偏好优化中至少一种训练范式的数据构造方式，理解样本长度、数据配比、重复度、标签质量和数据泄漏对训练及评测的影响。 5.熟悉训练数据处理相关技术栈，具备 Parquet／Arrow、对象存储、数据分片等实践经验；使用过 Ray、Spark、Dask 等至少一种并行处理框架，以及任务调度或工作流编排工具。 6.熟练使用 vibe coding／AI 编程工具，能够将 Claude Code、Codex、Cursor 等工具融入日常开发，用于需求拆解、7.代码实现、重构、测试和故障排查；能够理解、验证并维护 AI 生成的代码，对最终交付质量负责。 8.具备图像、视频等多模态训练数据处理经验者优先；熟悉自动标注、合成数据生成或模型辅助数据筛选者优先；有机器人示教、UMI／遥操数据、多相机视频同步、状态与动作对齐等具身智能数据经验者优先；有开源数据处理项目或可展示的工程成果者优先。