任务详情
开发组件/工具/平台需求1)对批处理ETL(airflow上的)进行数据质量的监测/监控/检查,2)以及对数据库/表数据质量进行监测。3)同时收集使用改工具的日志信息和数据。参考项目(只需要参考项目里的小部分功能即可):1)https://docs.getmontecarlo.com/2)https://www.soda.io/3)阿里DataWorks(数据质量部分的部分功能)https://help.aliyun.com/document_detail/73660.html4)https://juejin.cn/post/6976236619988729886