任务详情
项目需求:一、大数据采集工具(一)采集工具配置 :对采集对象,采集频率,错误或故障等条件进行设置(二)采集数据管理:对采集的数据进展搜索查看,进行删除等操作二、数据清洗工具套件(一)数据提取:用于对公共网站采集的信息进行关键信息抽取,获得有价值数据(二)数据判断和剔除:对错误数据,重复数据,失效数据进行判断和剔除(三)工具配置:对工具相关参数进行设置,保障采集数据清洗的准确性三、数据治理工具套件(ETL)(一)数据换算:1、计量数据换算为能耗数据2、数据采集提取的关键数据换算为能耗数据3、能耗计算结果与采集换算后的能耗数据对比判断;(二)数据报告数值:为数据自动报告提供数据字段值项目要求:1.需提供源码2.支持二开3.公司所在地在杭州及附近4.可提供demo演示