数据整合:将 ODS 层中的数据进行整合,将分散的数据整合为完整的数据。 三、汇总数据层(DM) 汇总数据层是数据仓库的第三层,它从 DW 层中抽取数据,并进行汇总和分析。DM 层中的数据通常是按照分析需求进行汇总的数据,例如按照地区、时间等维度进行汇总。在 DM 层中,我们需要重点关注以下几个方面: 数据汇总:按照...
ETL:抽取、转换、加载,指将数据从ODS中抽取出来并加载到DW中的过程。 DW1/DW2/DW3:数据仓库的三个层次,分别为基础层、中间层和应用层。 DM1/DM2/DM3:数据挖掘的三个层次,分别为描述性挖掘、预测性挖掘和规范性挖掘。 数据预处理:指在DM建模前对数据进行清洗、集成、选择和转换等处理过程。 数据挖掘模型:指在...
数据整合:将 ODS 层中的数据进行整合,将分散的数据整合为完整的数据。 三、汇总数据层(DM) 汇总数据层是数据仓库的第三层,它从 DW 层中抽取数据,并进行汇总和分析。DM 层中的数据通常是按照分析需求进行汇总的数据,例如按照地区、时间等维度进行汇总。在 DM 层中,我们需要重点关注以下几个方面: 数据汇总:按照...
答:嗯,我是这样理解的,站在一个理想的角度来讲,如果 ods 层的数据就非常规整,基本能满足我们绝大部分的需求,这当然是好的,这时候 dwd 层其实也没太大必要。 但是现实中接触的情况是 ods 层的数据很难保证质量,毕竟数据的来源多种多样,推送方也...
即数据仓库从宏观角度满足企业的决策支持要求,而ODS层则从微观角度反映细节交易数据或者低粒度的数据查询要求。 在一个没有ODS层的数据仓库应用系统体系结构中,数据仓库中存储的数据粒度是根据需要而确定的,但一般来说,最为细节的业务数据也是需要保留的,实际上也就相当于ODS,但与ODS所不同的是,这时的细节数据不是...
数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。五.数据仓库的ODS、DW和DM概念 ods、dw、dm区分 3.ODS、DW、DM协作层次图 协作层次 六.通过一个简单例子看这几层的协作...
数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 2.数据仓库的ODS、DW和DM概念 ods、dw、dm区分 3.ODS、DW、DM协作层次图 ...
ODS是数据仓库中的一个中间层,它主要用于将源系统的数据进行整合和转换,但并不进行复杂的分析或聚合。ODS旨在保留源系统数据的完整性,支持实时或接近实时的数据访问和操作。它通常包含原始数据和经过简单处理的数据。 特征如下: ODS直接存放从业务抽取过来的数据,这些数据从结构和数据上与业务系统保持一致,降低了数据...
缓冲层(buffer) 概念:又称为接口层(stage),用于存储每天的增量数据和变更数据,如Canal接收的业务变更日志。 数据生成方式:直接从kafka接收源数据,需要业务表每天生成update,delete,inseret数据,只生成insert数据的业务表,数据直接入明细层 讨论方案:只把canal日志直接入缓冲层,如果其它有拉链数据的业务,也入缓冲层。
ODS、DW和DM在协作层次图中分别代表了数据集成的不同阶段。ODS提供实时数据，DW整合历史数据，而DM则提供特定业务领域的分析视图。整体协作关系从ODS收集实时数据，通过ETL过程整合到DW中，再通过DM提供给决策层进行分析和决策支持。通过一个简单例子，可以直观理解ODS、DW和DM的协作关系。在实际应用中，ODS...