任务详情
整个需求基于现有的一套大数据平台产品进行升级改造,现有模块包括数据湖,虚仓管理,API HUB,整体技术架构包括on K8S, 和on yarn,需求要改造升级的部分包括 1. 统一SQL网关,统一元数据,SQL引擎包括hive, spark, flink 2. Ambari集群管理源码级架构设计,Ambari UI改造,集群管理API改造 3. 基于Keberos的统一认证平台 4. 基于RangerAdmin的统一权限服务 目前的需求是配合客户把架构方案设计出来,落地开发对我方团队进行技术指导