开源众包    53人浏览/42人投稿    1333天前    已托管赏金

工作要求：1.负责小红书及抖音的数据抓取，定期爬取指定这两个APP端的数据；2.解决app端遇到的反爬问题；3.实现数据提取、清洗、结构化、入库、统计分析等需求。兼职要求：1.大专以上学历，计算机软件或相关专业，需要有经验，有小红书及抖音数据爬取的实操经验，萌新绝对不要来！还是要技术的！！2.熟知HTTP、TCP 等知识，了解反爬原理；3.熟练掌握正则表达式、XPath；4.熟练使用一款代理工具（Charles、Fiddler、Mitmproxy）；5.熟练使用 MySql、MongoDB；5.能够独立分析遇到的 JS 反爬；6.有接触爬取过 APP 端数据；7.不用坐班，自己安排业余时间完成工作。

码市    177人浏览/42人投稿    1537天前    已托管赏金

使用UE引擎进行虚拟人相关应用程序开发，包含动捕数据采集、打包、网络传输，动捕数据同步及管理，虚拟人渲染，数字资产管理等。需要完成并交付两个在不同端PC上运行的应用程序。希望对方团队具备一定规模且非常熟悉UE引擎开发，另外需要了解当前虚拟人相关技术如UE MetaHuman的实现原理。

A5任务    298人浏览/41人投稿    1315天前    已托管赏金

抖音直播间带货榜数据抓取 正常榜上排名100名内的都可以抓取得到 带货榜上前100名及100往后的数据都要抓取出来 而且实时抓取 出好API （我会提供一个低版本的抖音客户端你安装）通过这个可以判断出来直播傍数据1.带货榜 前100名的实时热度数据 2.指定直播间 获取热度数据 3 出好api接口跟我们后端开发同事对接

猿急送    45人浏览/41人投稿    913天前    已托管赏金

需求描述：例如对某某下棋网站，模拟进行登录、选择游戏模式对战、模拟用户对战。 职位要求：熟悉各类型解密，掌握分布式爬虫技术、代理池，精通自动化接口。 合作方式：可远程开发，定期面对面交流更佳。

开源众包    50人浏览/41人投稿    915天前    已托管赏金

1.收集相关信息或数据（1）进行充分需求分析，明确系统应具备的功能，收集整理相关文献资料；对系统设计与实施的成本进行合理分析，对影响系统或工程实施的经济、法律、环境等因素进行分析。（2）从互联网爬取相关文本数据，包括漏洞报告、攻击事件描述、黑客论坛帖子等，收集2000篇并标注至少1000篇网络威胁情报相关的文本数据，作为系统开发的试验数据；2.技术要求（1）在本体指导下，通过关系抽取技术从爬取的文本数据中提取出与安全情报有关的信息，构建知识图谱，知识图谱节点数量（实体）大于10万个，关系数量超过100万条；（2）建立网络威胁情报的知识图谱，包括威胁漏洞、攻击方式、攻击者信息等实体及其关联；（3）设计和实现网络威胁情报的分析算法和可视化方法，包括图谱展示和关联关系分析等功能。3.非技术要求（1）考虑系统的工程成本，对系统或工程的约束因素，如工程应用环境下人工标注质量或模型训练算力等因素进行初步分析；（2）在毕业设计说明书中制图和制表符合工程规范性要求；（3）程序代码命名统一和规范，说明文档书写规范。4.所需条件（1）熟悉软件工程中软件开发流程、开发方法和理念；（2）熟悉自然语言处理的基本理论和方法；（3）熟悉爬虫的设计方法；（4）掌握类似Neo4J的图数据库管理技术。

开源众包    297人浏览/41人投稿    1332天前    已托管赏金

附件为人工手动 下载数据的操作步骤。人工点鼠标下载数据，太耗时···· 现在的需求是用python或者其他任何语言实现批量下载···其中有几个难点：

开源众包    54人浏览/41人投稿    778天前    已托管赏金

程序建立208种型号的产品及对应各参数，将对应的参数读取写入到设备中。通讯协议RS485，软件开发具体需求可沟通。可提供程序模板相关视频供开发参考

码市    159人浏览/41人投稿    1442天前    已托管赏金

1.通过本地监听，虚拟打印或者其他技术手段获取设备数据，并上传至服务器2.需要获取数据的设备为常用眼科设备，包括验光仪，眼压，OCT ，眼底照相等常用数据.3.需要获取的数据包括检测结果，图像，报告等。

码市    173人浏览/41人投稿    1066天前    已托管赏金

采集美国，和欧盟，德国，英国，法国，加拿大等商标局专利和商标数据（需要把商标局所有数据采集完），保存到本地可以用rpa采集软件1,：采集的数据建立数据库，通过分类采集的数据进行数据分类储存到服务器，然后可以通过关键词搜索和图形搜索到数据库搜索，建立关键词搜索和图形搜索两个功能。2：采集数据需要三天左右采集一次，采集最新的专利，商标资料:。3：建立一键自动采集功能。假如出现采集失败，可以提示再开启自动采集做个会员收费系统同意管理以上的后台

猿急送    42人浏览/41人投稿    761天前    已托管赏金

爬取设定页面并获取信息，并筛选符合我设定需求的物品进行购买。需要使用ip代理，并且需要高并发次数。凑字数，。。。。。。。。