猿急送    499人浏览/50人投稿    770天前    已托管赏金

开发一个遵循Robots.txt协议的爬虫程序，避免对目标网站造成不必要的负担。 实现动态数据加载处理能力，能够抓取Ajax加载的内容。 设计数据去重机制，避免重复抓取相同信息。 需要有插件或爬取数据方法！！！

猿急送    70人浏览/32人投稿    770天前    已托管赏金

爬取设定页面并获取信息，并筛选符合我设定需求的物品进行购买。需要使用ip代理，并且需要高并发次数。凑字数，。。。。。。。。

开源众包    51人浏览/41人投稿    771天前    已托管赏金

程序建立208种型号的产品及对应各参数，将对应的参数读取写入到设备中。通讯协议RS485，软件开发具体需求可沟通。可提供程序模板相关视频供开发参考

猿急送    46人浏览/46人投稿    772天前    已托管赏金

利用C++、QT和Python开发数据采集和分析软件，开发人员要求如下： （一）本科及以上学历，计算机相关专业; （二）编程能力强，具有良好的团队合作精神； （三）熟悉C++、QT编程; （四）熟悉Python编程； （五）熟悉多线程编程、硬件和传感器交互经验者优先； （六）良好的沟通理解能力、逻辑性、学习能力及自驱力，能独立承担工作任务及把控任务进度； （七）有1-3年的工作经验。

猿急送    39人浏览/43人投稿    772天前    已托管赏金

1，物流公司 2. 电话销售 3. 渴望沟通 4. 爬虫专业 二、人才要求： 3年以上PHP开发经验，熟悉Yii框架，有社交产品开发经验者优先。 三、参考产品： 豆瓣网 花瓣网 四、合作方式： 开发方式：远程开发。 开发周期：20-30天

开源众包    32人浏览/16人投稿    772天前    已托管赏金

（如果符合下列需求，方案中可以提供联系方式，方便私下沟通哈）需求：1、能人工配置需要监控网站、菜单及其页面下的各个网页要素；2、能导出所有配置内容成为文件，以便在其他环境上投产。3、监控到的内容高亮显示，可以配置出显示颜色、大小等字体格式。4、要求提供所有JAR 的源码；所有数据库设计文档；数据库建表SQL、码表SQL等等。5、可以自动导出监控到的内容为WORD文档，并提供相关配置功能。6、这个系统需要已经成功运行几个月，也就是系统没有常规BUG。7、提供3次代码讲解，10次技术咨询。8、提供不同监控方案的管理。9、对于监控频率、次数，提供系统配置功能。10、监控日志本身也可以监控，以便对于重点监控有所掌握。11、 需要对监控关键字有一定规则、流程配置功能，比如同一个网站 的A页面出现“AAA”后，B页面出现“BBB”后，C页面出现“CCC”，才算满足监控需要，提取“BBB、CCC”，而不需要AAA。

A5任务    53人浏览/0人投稿    776天前    已托管赏金

Discuz全站数据采集 采集要求请看 腾讯文档https://docs.qq.com/doc/DTnlBQUNFZWdWd0RS 投标后，麻烦主动联系我一下，便于及时沟通选标，沟通后没问题，干活痛快结账

开源众包    237人浏览/2人投稿    777天前    已托管赏金

（如果符合下列需求，方案中可以提供联系方式，方便私下沟通哈）需求：1、能人工配置需要监控网站、菜单及其页面下的各个网页要素；2、能导出所有配置内容成为文件，以便在其他环境上投产。3、监控到的内容高亮显示，可以配置出显示颜色、大小等字体格式。4、要求提供所有JAR 的源码；所有数据库设计文档；数据库建表SQL、码表SQL等等。5、可以自动导出监控到的内容为WORD文档，并提供相关配置功能。6、这个系统需要已经成功运行几个月，也就是系统没有常规BUG。7、提供3次代码讲解，10次技术咨询。8、提供不同监控方案的管理。9、对于监控频率、次数，提供系统配置功能。10、监控日志本身也可以监控，以便对于重点监控有所掌握。11、 需要对监控关键字有一定规则、流程配置功能，比如同一个网站 的A页面出现“AAA”后，B页面出现“BBB”后，C页面出现“CCC”，才算满足监控需要，提取“BBB、CCC”，而不需要AAA。

开源众包    37人浏览/19人投稿    779天前    已托管赏金

本项目是针对微信视频号应用市场推出的两个工具，其主要功能1：一键复制 ：就是爬取用户指定的商品链接中所有的商品信息，并上架到微信视频号小店。这个应用开发需要技术懂平台的API，并需要对爬虫和浏览器插件都要有所了解，因为需要用到这两种技术。另外必须懂得平台的API。并且因为之前请公司开发，浪费了很多时间，所以本次开发对交付期有严格的规定，不能按期交付的话，不要来。详细的开发需求可以进一步聊以下是一个简单粗略的产品需求文档 。

开源众包    224人浏览/12人投稿    780天前    已托管赏金

1）大数据分析技术是一个综合性理论及技术，根据不同的项目，所用到的技术不同，具体可能包括：爬虫技术、数据ETL技术、分布式数据库及NoSQL数据库、机器学习及数据挖掘、自然语言处理（NLP）、社会网络分析、复杂网络分析、知识图谱等，部分内容需要自学。2）相关工具：数据采集：Scrapy、Nutch、Cola等，参考https://zhuanlan.zhihu.com/p/64305013ETL工具：Kettle、DataX、Sqoop等存储：文件、各类数据库、Hadoop HDFS、Hbase、MongoDB、Neo4j等数据查询：Hive、ElasticSearch、Redis等数据计算：MapReduce、Spark及其库（ML、MLLib、Spark-NLP等）、Spark-Streaming、Storm、Mahout可视化：Excel、Tableau、echart、python和R语言的画图库、Gephi、JavaScript库等具体流程主要包括：（1） 利用爬虫技术抓取相应网站的数据，数据量不少于1万条，并保存为csv文件。（2） 通过数据预处理将抓取下来的数据进行处理，如：处理缺失值、删除重复值、过滤无效数据、添加序号、对异常值进行处理、数据标准化等等。（3） 构建Hadoop服务集群，并将预处理后的csv数据文件上传到HDFS、HBase或MongoDB中。（4） 利用MapReduce、Hive、Spark等连接HDFS或HBase进行数据分析、数据挖掘的工作，并将分析结果存入HBase或HDFS中。（5） 通过网页、可视化工具等对分析结果进行展示。