职位要求
岗位描述:
1. 2年以上Python开发经验,熟悉网络爬虫或数据处理和分析相关的开发;
2. 负责web数据采集相关的开发,熟悉web数据的抓取、解析等开发工作,有一定数据清洗和分析基础;
3. 熟悉应对反爬策略的方式方法,并有成功绕过反爬策略的案例;
4. 具有很强的技术钻研能力;
岗位要求:
1. 精通python,scrapy,pyspider,Selenium 等框架,深入研究过scrapy,pyspider框架的源码,并能对scrapy,pyspider框架的源码进行修改和优化;
2. 熟悉网络抓包工具,熟悉使用正则表达式;熟悉HTTP传输协议,能模拟各类操作进行数据的爬取;
3. 了解数据清洗和分析相关的工具,了解大数据分析;
4. 具有较强的分析和解决问题能力,以解决技术难题为乐趣,有想法,敢于挑战;
5. 熟悉MySQL、mongodb、有数据库开发经验者优先,有 GitHub 地址或技术博客地址者优先;