YesPMP
39人浏览/2人投稿
120天前
待托管赏金
急招2名 - python抓取工程师 🔥🔥🔥
💸 薪资待遇：30K-55K（不含项目奖金，能力优异者面谈）
💻上班时间：10休4 （12:00-24:00 有2小时休息，吃饭时间）
⭕ 试用期：1个月
🏠公司项目：IM开发经验
📍工作地点：
远程
⭐⭐岗位职责:
1.负责重点业务方向的网页数据抓取开发与维护
2.设计并优化稳定高效的抓取程序，处理反爬策略（如验证码、JS混淆、IP封锁等）
3.搭建并维护分布式抓取系统，实现大规模并发数据采集
4.对采集到的数据进行清洗、去重、结构化处理，保证数据质量
5.监控系统运行状态，及时处理异常，提升数据获取效率与稳定性
6.协助数据团队完成数据整合和标签提取工作
⭐⭐任职要求:
1.本科及以上学历，计算机、软件工程或相关专业，2-3年及以上实际抓取开发经验
2.精通 Python，熟悉 Scrapy、Requests、Selenium、Playwright 等主流抓取框架
3.掌握 HTML / XPath / CSS Selector / 正则表达式等页面解析技术
4.熟悉常见反爬机制及其应对策略，如代理池、UA池、验证码识别、JS解密、动态加载页面等
5.有 Redis、MongoDB、MySQL 等数据存储使用经验
6.熟悉多线程/异步编程，具备良好的代码结构和开发习惯
7.有一定的 Linux 操作能力，能够独立部署和维护采集脚本
8.有责任心，逻辑清晰，抗压能力强，有良好的团队合作精神
⭐⭐优先条件:
1.有 Scrapy-Redis 分布式抓取项目经验
2.熟悉 Kafka/Celery 等异步任务框架
3.有处理图像验证码或滑动验证码经验者优先
4.熟悉常用反作弊策略及应对方案
