数据整合:将 ODS 层中的数据进行整合,将分散的数据整合为完整的数据。 三、汇总数据层(DM) 汇总数据层是数据仓库的第三层,它从 DW 层中抽取数据,并进行汇总和分析。DM 层中的数据通常是按照分析需求进行汇总的数据,例如按照地区、时间等维度进行汇总。在 DM 层中,我们需要重点关注以下几个方面: 数据汇总:按照...
ETL:抽取、转换、加载,指将数据从ODS中抽取出来并加载到DW中的过程。 DW1/DW2/DW3:数据仓库的三个层次,分别为基础层、中间层和应用层。 DM1/DM2/DM3:数据挖掘的三个层次,分别为描述性挖掘、预测性挖掘和规范性挖掘。 数据预处理:指在DM建模前对数据进行清洗、集成、选择和转换等处理过程。 数据挖掘模型:指在...
数据实时性:确保 ODS 层中的数据能够实时地反映业务系统的最新状态。 数据一致性:确保 ODS 层中的数据与业务系统中的数据一致。 数据冗余:由于 ODS 层中的数据直接来自于业务系统,因此可能存在大量的数据冗余。我们需要对数据进行去重或者采用其他方式来减少冗余。 二、明细数据层(DW) 明细数据层是数据仓库的第二层...
答:嗯,我是这样理解的,站在一个理想的角度来讲,如果 ods 层的数据就非常规整,基本能满足我们绝大部分的需求,这当然是好的,这时候 dwd 层其实也没太大必要。 但是现实中接触的情况是 ods 层的数据很难保证质量,毕竟数据的来源多种多样,推送方也...
即数据仓库从宏观角度满足企业的决策支持要求,而ODS层则从微观角度反映细节交易数据或者低粒度的数据查询要求。 在一个没有ODS层的数据仓库应用系统体系结构中,数据仓库中存储的数据粒度是根据需要而确定的,但一般来说,最为细节的业务数据也是需要保留的,实际上也就相当于ODS,但与ODS所不同的是,这时的细节数据不是...
数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。五.数据仓库的ODS、DW和DM概念 ods、dw、dm区分 3.ODS、DW、DM协作层次图 协作层次 六.通过一个简单例子看这几层的协作...
数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 2.数据仓库的ODS、DW和DM概念 ods、dw、dm区分 3.ODS、DW、DM协作层次图 ...
ODS是数据仓库中的一个中间层,它主要用于将源系统的数据进行整合和转换,但并不进行复杂的分析或聚合。ODS旨在保留源系统数据的完整性,支持实时或接近实时的数据访问和操作。它通常包含原始数据和经过简单处理的数据。 特征如下: ODS直接存放从业务抽取过来的数据,这些数据从结构和数据上与业务系统保持一致,降低了数据...
缓冲层(buffer) 概念:又称为接口层(stage),用于存储每天的增量数据和变更数据,如Canal接收的业务变更日志。 数据生成方式:直接从kafka接收源数据,需要业务表每天生成update,delete,inseret数据,只生成insert数据的业务表,数据直接入明细层 讨论方案:只把canal日志直接入缓冲层,如果其它有拉链数据的业务,也入缓冲层。
我们从理论上来做一个抽象,可以把数据仓库分为下面三个层,即:数据运营层、数据仓库层和数据产品层。 ODS 全称是 Operational Data Store,操作数据存储.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层。本...