岗位职责
1、遵循robots协议，采集互联网公开的信息，满足各类业务数据需求；
2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程；
3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。
任职资格
1、本科及以上学历，2年以上爬虫抓取采集相关工作经验；
2、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等；
3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力；
4、熟悉常见反爬封禁策略，并具备相关的实战经验；
5、加分项1：逆向、混淆、脱壳、分布式、数据分析、数据挖掘；
6、加分项2：采集抖音、快手数据日均超100w次，深度参与至少一个大规模分布式数据采集系统的架构设计。
渝公网安备50009802501907号
人力资源服务许可证 渝人服证字[2019]第0700001613号
