分布式爬虫

您的位置：首页 > 任务详情

招标模式分布式爬虫

雇主：mike
发布时间：2023-07-02
分类：程序开发

¥ 8000 元

免责声明该外包需求信息来源于站外平台，本站仅提供公开信息部分字段展示与订阅服务，更多请查看免责声明。

任务详情

1. 用scrapy框架和redis实现分布式爬虫，书籍信息储存在Mongo DB里面，书籍下载到本地。 2. 可以对接elastic search 进行数据处理的话就更好了要求： 1、熟悉python爬虫技术，熟悉requests、selenium、scrapy、xpath、re等技术手段编写爬虫程序进行内容抓取，对抓取到的数据进行清洗过滤，分表存储。 2. 熟悉scrapy框架，redis，mongodb 3.可以做到静态抓取，动态抓取，以及解码

任务附件 (0)