鲸鱼小班(原柔持英语)是国内首家同伴式青少儿在线英语学习平台,专注于为3—18岁的青少儿提供高品质的英语学习方案。鲸鱼小班引入美国CCSS标准原版教材,为孩子提供高质量的全学科英语课程,真实还原美国中小学课堂的教学场景,并通过同伴式互动学习方式,全方位提升孩子的“听说读写”四大核心能力,培养孩子的学科知识和国际视野。鲸鱼小班还首创并坚持线上“固定老师、固定同伴、固定课表”的“三固定”班课运营模式,让孩子跟着固定的外教和熟悉的同伴规律的学习,努力给到孩子最好的学习兴趣、体验和效果。
职位描述:
1、负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型;
2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量;
3、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求;
4、把握网络爬虫核心技术研究方向,研究优化算法,提升爬虫系统的稳定性、可扩展性;
职位要求:
1、全日制本科及以上学历,计算机相关专业,3年及以上爬虫经验;深度参与过至少一个‘分布式网络爬虫系统’的架构设计;
2、良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验;
3、精通爬虫和反爬技术,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术;
4、熟悉分布式系统、多线程,精通scrapy框架以及原理,有开发爬虫框架经验;
5、对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验。
6、有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作;