安徽飞数信息科技有限公司

【职位描述】 1、数据处理：负责大模型预训练、微调数据的采集、清洗、去重、去噪与结构化标准化处理，针对智能Agent场景优化语料质量，搭建高质量NLP语料库，支撑大模型训练、迭代与业务落地。 2、大数据工程化搭建：基于Python设计开发并优化数据处理Pipeline，熟练运用Spark、Hadoop大数据框架进行大规模数据处理，解决海量语料、复杂场景下的数据算力与处理效率问题，实现预处理流程自动化、标准化；持续优化数据处理效率与质量，支撑下游算法研发与模型训练；独立完成数据分析、效果复盘，输出完整的数据处理报告及技术文档。 3、需求与数据管理：对接业务与算法需求，拆解大模型、Agent场景的数据需求，制定数据处理规范；负责训练语料的分类存储、版本管理与权限管控，保障数据安全、可复用、可追溯。 4、模型训练与优化：负责训练迭代文本分类、数据质量判别、语料筛选等数据模型；结合大模型与Agent交互场景特性，优化数据筛选与质检能力，提升数据适配度与模型落地效果。 任职要求： 1、统招本科及以上学历，大数据、计算机、自动化、人工智能等理工科相关专业。 2、熟练掌握Python编程与常用NLP处理框架，熟悉Linux基础操作与脚本编写；精通Spark、Hadoop主流大数据生态组件。 3、具备扎实的NLP、机器学习、深度学习及数据挖掘基础，熟悉大模型预训练微调、Agent任务编排相关数据逻辑。 4、具备良好的业务理解力、沟通协作能力与服务意识，工作严谨细致，具备较强的问题排查能力与自主迭代优化能力，能够应对海量数据场景下的复杂数据处理问题并持续优化。 view1d 经营范围：一般项目：技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广；计算机系统服务；软件开发；市场调查（不含涉外调查）；企业管理咨询；数据处理服务（除许可业务外，可自主依法经营法律法规非禁止或限制的项目） 【其他信息】 职能类别：大数据工程师 招聘人数：10人 需求专业：电子信息类,自动化类,计算机类 工作经验：不限 语言要求：不限 单位规模：1000-5000人 单位性质：其他企业（含民营企业等） 工作地址：安徽省合肥市高新区香蒲路668号大数据产业园B2栋9楼B03室