大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks,承担集团99%数据业务构建。 查看文档
本实验以简单的用户画像分析为例,带您熟悉DataWorks的主要功能和常见任务。实验内容包括DataWorks+EMR、DataWorks+MaxCompute、DataWorks+StarRocks以及DataWorks+Spark四种不同版本。
在DataWorks上进行数据同步前,您需要参考本文提前在ApsaraDB For OceanBase侧进行数据同步环境准备,以便在DataWorks上进行ApsaraDB For OceanBase数据同步任务配置与执行时服务正常。以下为您介绍ApsaraDB For OceanBase同步前的相关环境准备。 配置白名单 将Serverless资源组或独享...
DataWorks按照这个帮助文档，下游 10点的 middle 任务不应该依赖上游 1点的任务(因为1点已经被下游5点...
DataWorks在进行SQL查询后,可直接通过钉钉应用,将查询结果以钉钉文档的形式导出在钉钉内,避免了将查询数据下载为Excel文件带来的数据安全问题。 钉钉侧配置 新增钉钉应用 进入钉钉开放平台,单击右上角的开发者后台进行登录,切换至业务目标钉钉组织。 单击钉钉开放平台顶部导航栏上的应用开发,进入应用开发页面。在...
表总览表名说明ods_raw_log_d离源ODS层最近的数据dwd_user_info_d用户公共明细表dws_user_info_d用户公共汇总表dm_user_info_d用户数据集市表rpt_user_info_d用户分析汇总表节点dwd_user_info_d任务(节点)名称 dwd_us...
节点ID节点名称用途数据输入表数据产出表调度周期320170257workshop_start虚拟节点,用于管理下游节点NullNull日320170260MySQL数据同步拉取MySQL数据源数据ods_user_info_dods_user_info_d日320170260FTP数据同步拉取FT...
结合业务场景,帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。 系分设计则包括表设计、Mapping设计和调度设计等最实际的设计工作。 设计完毕后,最终将产出供开发人员参照实施开发的ETL设计文档、数据探查文档、调度设计文档,为需求的有效实现打下坚实基础。 设计阶段的流程包括以下步骤: 数据探查 数据...