任务详情
简介本项目是某国外电商平台的工具站的后台模块开发，为平台的卖家提供产品分析的功能；功能需求：1. 数据采集；2. 数仓搭建与数据开发；3. API接口开发；架构：1. 使用Lambda函数调用requests库进行数据采集；2. stepfunction做任务调度；3. Lambda函数采集到的数据发送到Kafka，使用Kafka Connector将数据写入到S3中；4. 使用EMR/EMR Serverless 进行数据处理；5. 部署api服务到ECS，使用Redis或者MySQL作为api服务的数据源；6. FastAPI开发后台接口；
