简介: 作业调度中心Apache Airflow二次开发初体验 1 开发环境 Python 3.6 Chrome 79以上版本 2 开发工具 Jetbrains pycharm 2019.3 3 开发语言与架构 作业调度中心采用前后端分离方式进行设计,后端采用python、前端基于flask框架开发。前后端数据访问采用同步与异步通讯相结合的方式进行实现。 4 数据库初始化 4.1 修改...
基于airflow二次开发的etl系统,改造了sqoopOperator和sparksqlOperator,新增sqoopBatchOperator和sparksqlBatchOperator,实现了固定维度坐标定位sql文件,时间分区,批量化sql文件执行,整个etl流程控制与调度,最终版本在finally分支。