行业:IT|通信|电子|互联网
职位:计算机软件
部门:
人数:50人
地区:北京
性质:全职
性别:不限
婚姻:不限
学历:本科
经验:不限
年龄:不限年龄
待遇:面议
弹性工作时间，免费一日四餐，免费健身
工作职责：
1.分布式爬虫系统和数据采集的设计、开发以及任务调度2.爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。3.互联网数据的采集抓取。4.数据的抽取清洗与维护5.参与爬虫算法的策略优化研究
任职资格：
计算机基础知识扎实，包括不限定于操作系统、计算机网络、数据结构和算法理解常见并发模型和场景、对 IO、多线程、集合基础框架等有扎实理解熟悉 Python语言熟悉网页抓取原理及技术，熟悉正则表达式熟悉SQL, 有Postgresql, CockroachDB经验优先有 Scrapy / Pyspider 框架的使用经验或自己手写过类似框架有较强的分析和解决问题能力，学习能力强，善于沟通，有团队合作意识。有主流视频音乐网站数据抓取经验优先