湖南向上商旅服务有限公司

【职位描述】 岗位职责： 、本岗位核心工作是合法合规地从各大网站（电商、新闻、社交平台等）抓取公开数据，并完成数据清洗、整理、存储和系统优化，为公司数据分析、产品业务提供精准、稳定的数据支撑。岗位偏向后端开发，适合掌握Python、有网络基础、喜欢钻研技术的应届生。 1. 爬虫程序开发与日常维护 主要用Python（主流），也可使用Go、Java等语言，根据不同网站的规则，编写专属的数据抓取程序。日常解决网站的防爬限制，避免程序被网站封禁、拦截。同时合理控制抓取速度和并发数量，温柔抓取数据，不会对目标网站造成访问压力，保障爬虫程序长期稳定运行。 2. 数据提取、清洗与整理 从网页源码、接口数据中精准筛选出我们需要的文字、数字、信息等有效数据。对抓取到的杂乱数据进行处理，修复缺失、乱码、格式错乱等问题，统一数据格式和单位。同时做好数据去重和断点续爬，避免重复抓取、遗漏数据，保证数据干净、准确、可用。 3. 应对网站反爬机制，突破数据限制 大部分网站会有防护机制，我们需要通过技术手段合规突破：通过切换网络IP、模拟真人浏览行为（随机浏览间隔、鼠标点击等）绕过网站检测；掌握基础的验证码识别、接口参数解析、动态网页数据抓取技术，解决网站的各类防爬拦截问题。 4. 数据存储与对接业务 将清洗整理好的规范数据，存入对应的数据库中，支持数据新增、更新和批量导入。同时将处理完成的数据对接给公司数据分析、产品、搜索等业务团队，支撑团队的日常业务和项目开发。 5. 系统优化、运维与任务管理 搭建多服务器协同工作的分布式爬虫系统，提升数据抓取效率。持续优化程序性能，降低电脑内存、CPU消耗，提高抓取速度和成功率。搭建数据监控系统，实时查看爬虫运行状态，出现异常、报错时及时收到提醒并修复。同时设置定时任务，让爬虫自动定期抓取所需数据。 6. 严守合规底线，规避法律风险 严格遵守网络相关法律法规和网站规则，只抓取网站公开、合法的数据，不获取用户隐私、私密信息。合理控制抓取频率，不恶意骚扰、攻击目标网站，确保所有工作合规合法。 7. 文档编写与团队协作 整理编写技术文档，记录爬虫的开发思路、运行流程、适配规则等，方便后续维护和同事交接。配合产品、数据分析、运维团队沟通需求，根据业务要求调整爬虫规则，协同完成项目工作。 岗位要求： 应届生适配优势（加分项） 有个人爬虫项目、竞赛项目、实习相关经验； 喜欢钻研技术，对网络爬虫、数据采集、后端开发有浓厚兴趣； 逻辑清晰、细心严谨，有良好的学习能力和团队协作能力。 1. 编程基础（核心必备） - 精通Python：熟练使用requests、aiohttp等常用库和Scrapy爬虫框架，掌握多线程、多进程、异步编程等基础知识点。 - 加分能力：会Go、Java任意一门编程语言更佳。 - 基础工具：熟练使用Git进行代码提交、版本管理。 2. 计算机网络基础 - 理解HTTP/HTTPS网络协议，懂网页请求、响应、Cookie、请求头的基础原理，认识常见网络状态码。 - 会使用Fiddler、Charles等抓包工具，简单分析网页网络请求数据。 3. 网页解析与简单逆向能力 - 熟练使用正则表达式、XPath、CSS选择器，搭配BeautifulSoup、lxml等工具提取网页数据。 - 会使用Selenium、Playwright等工具模拟浏览器操作，抓取动态加载的网页数据。 - 能通过浏览器开发者工具调试网页，看懂基础的接口加密、参数逻辑。 4. 反爬对抗实战能力 - 了解IP代理的使用方法，能够解决爬虫被封IP、拦截的基础问题。 - 掌握基础的验证码识别、请求头伪装、动态参数适配等常用反爬技巧。 5. 数据库使用能力 - 熟练掌握Redis（核心必备），用于数据去重、任务队列管理。 - 熟悉MySQL、PostgreSQL、MongoDB等主流数据库，会基础的数据增删改查和简单优化。 6. 分布式与任务调度基础 - 了解分布式爬虫的基本原理，接触过Scrapy-Redis、Celery等工具优先。 - 了解定时任务调度工具，能够设置自动化抓取任务。 7. 系统与部署基础 - 熟悉Linux常用基础命令，会简单的文件、进程管理操作。 - 了解Docker容器化部署基础者优先。 投递说明： 收集简历+笔试+面试 【单位简介】 湖南向上商旅服务有限公司，2006年始创于伟人故居湖南湘潭。与国内外90多家航空公司建立了良好的机票销售合作渠道，主营国内外航空机票预订服务、国内国际旅游服务、会议会展服务、订单自动化系统服务。 向上商旅贯彻服务第一的核心宗旨，全力推行政府机票采购和大客户业务。主要客户有湘钢集团、哈电风能、湘潭大学、湖南科技大学、市中心医院等大专院校及企事业单位，同时也与湘潭市市委市政府、湘潭县人民政府及公检法等政府职能部门建立良好的服务关系，为湘潭市政府采购指定唯一服务商。 向上商旅自主研发订单自动化系统，围绕客户的需求持续创新，凭借创新的产品以及强大的运营服务能力，年服务旅客量稳定在千万以上，成为携程、同程、飞猪、去哪儿、美团等中国领先的在线旅游平台核心服务商。 向上商旅将长期坚持以“聚焦客户需求，提供全方位服务和解决方案，持续为客户创造最大价值”为使命，始终秉承“感恩，奋斗，创新，高效”的核心价值观，致力于打造全球商旅服务行业领导品牌。 校园招聘违规举报 提示：在微信扫描关注，可以直接 【其他信息】 职位类别：爬虫开发工程师 招聘人数：3 需求专业：数据科学与大数据技术，计算机科学与技术，软件工程 单位规模：150-500人 单位性质：其他企业（含民营企业等） 福利标签：年底双薪 岗前培训 岗位晋升 包吃包住 所属行业：租赁和商务服务业