海僡港联信息科技（苏州）有限公司

【职位描述】 岗位职责： 1、负责从多种数据源（如业务数据库、日志文件、前端埋点、Kafka消息队列等）中抽取数据。 2、编写和维护数据采集脚本或任务，支持实时流式数据和离线批量数据的采集。 3、参与构建和维护公司的大数据存储平台，如 HDFS、Hive、HBase、ClickHouse 等。 4、理解和参与数据仓库的分层设计，按照规范进行数据表的开发和管理。 5、制定和执行数据的归档、备份和清理策略。 6、编写、调度和监控数据处理任务（ETL/ELT），完成数据的清洗、转换、集成和加载。 7、使用MapReduce、Hive、Spark SQL 等技术，处理 TB/PB 级别的离线数据，生成报表或数据模型。 8、使用 Flink、Spark Streaming、Kafka Streams 等技术，处理实时数据流，提供实时监控、实时推荐等能力。 岗位要求： 1、本科以上学历，男女不限。 2、至少精通一门主流语言，如：Java/Scala、Python、SQL等。 3、了解或熟悉以下框架，Hadoop、Spark、Flink、Hive等。 4、熟练使用 Linux 常用命令，能进行日志分析和问题排查。 投递说明： 线下双选会收集简历并进行初步面试 电话或视频进行确认面试 【单位简介】 一个研究港口与航服的行业互联网公司、一个研究港口与航服企业数字(智)化的公司、 一个提供IT技术服务的公司、一个帮助企业数字转型的咨询公司、一个有梦想的公司。 【其他信息】 职位类别：大数据开发工程师 招聘人数：5 需求专业：软件工程，智能科学与技术，物联网工程，数据科学与大数据技术 单位规模：少于50人 单位性质：其他企业（含民营企业等） 福利标签：绩效奖金 岗前培训 节日礼物 岗位晋升 弹性工作 所属行业：信息传输、软件和信息技术服务业