山西智云数创科技有限公司

【职位描述】 岗位职责： 1. 负责爬虫产品的开发与维护； 2. 参与爬虫系统架构的设计和开发； 3. 优化爬虫系统代码、算法，提高爬虫系统的稳定性和扩展性； 4. 研究网站的反爬策略，并给出反爬措施； 5. 对抓取的数据进行清洗、预处理、入库，包括去除重复数据、处理缺失值、规范化数据格式等； 6. 维护爬虫项目代码仓库； 岗位要求： 1、本科及以上学历； 2. 熟练使用 Pyhton，熟练使用常用的爬虫框架( 比如 scrapy 等 )，了解反爬套路及破解方法 3. 熟悉 web 前端技术，对 cookie 管理、登录等流程有深入理解，熟练使用 bs4、xpath 等文本解析工具 4. 熟悉各种网络协议，熟悉 web 前端，熟悉 js、html 等 5. 熟悉 Linux 开发环境，熟悉 git 工具 6. 熟悉 Oracle、Mysql 数据库，对 Mongodb、Redis 有一定的使用经验 7. 有抓过小说数据，逆向安卓包开发经验者优先。 投递说明： 无 其他描述： 无 【单位简介】 山西智云数创科技有限公司位于山西省太原市，是一家以从事软件和信息技术服务业为主的企业。经营范围包括软件开发、软件销售、信息系统集成服务、电子产品销售等。 校园招聘违规举报 提示：在微信扫描关注，可以直接 【其他信息】 职位类别：人工智能 招聘人数：2 需求专业：物联网工程，网络工程，计算机科学与技术，机械电子工程，机械设计制造及其自动化，自动化 单位规模：少于50人 单位性质：其他企业（含民营企业等） 福利标签：节日礼物 岗前培训 带薪年假 交通补助 所属行业：信息传输、软件和信息技术服务业