贵州大数据产业集团有限公司

岗位职责： 1.负责设计、开发并维护实时/批量数据管道，完成从多种数据源的数据抽取、清洗、转换和加载工作； 2.负责数据仓库、数据湖及数据平台的搭建与优化，设计并开发数据模型与数据集市； 3.负责建立数据质量监控体系，制定质量检核规则；负责数据任务的日常运维、性能调优与故障排查； 4.负责在数据开发全流程中落实数据安全管理要求； 5.配合算法工程师完成AI/机器学习训练数据的准备、清洗、标注和特征工程工作。 岗位要求： 1、研究生及以上学历，硕士及以上学位； 2、专业要求：0835软件工程、0812计算机科学与技术、0810信息与通信工程、0839网络空间安全、0854电子信息、0714统计学、1405智能科学与技术； 3、1.熟练掌握SQL和Python，具备使用Pandas/NumPy等工具进行数据清洗和加工的能力，了解常用数据采集技术（如Flume、DataX、Canal等）； 2.熟悉数据仓库架构和数仓分层设计，理解ETL与ELT的适用场景差异，掌握数据质量评估方法； 3.了解大数据生态组件，熟悉HDFS、Hive、Kafka等基础组件。