数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD(数据清洗/DWI) 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。
明细层(ODS, Operational Data Store,DWD: data warehouse detail) 概念:是数据仓库的细节数据层,是对STAGE层数据进行沉淀,减少了抽取的复杂性,同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式,将各个专业数据进行集中,明细层跟stage层的粒度一致,属于分析的公共资源 数据生成方式:部分数据直接来自kafka,部分...
数据同步:将ODS层的数据同步到下一层,即DWD层,以供后续的数据处理和分析。 ODS层的数据模型通常是基于源系统中的数据模型进行设计,其主要目的是将不同的数据源中的数据整合到一个统一的数据集中,并尽量保证数据的质量和可用性。ODS层的数据通常是面向业务过程和业务事件的,包含大量的原始业务数据和事件流数据,可以...
数据仓库架构分层设计包括STG(数据缓冲层)、ODS(数据操作层)、DWD(数据明细层)、DWS(主题汇总层)和ADM(数据应用层)。 1、STG层 主要完成业务系统结构化数据引入到数据中台,保留业务系统原始数据,缓冲层设计主要保持和数据源的一致性,不做任何类型转换和数据加工处理,为ODS层提供基础数据服务。 2、ODS层 对STG层数...
ODS层是数据仓库与业务系统之间的桥梁,它的主要作用是保证业务系统与数据仓库之间的数据一致性和完整性。 DWD层(数据仓库明细层) DWD(Data Warehouse Detail)层是数据仓库中的明细层,是ODS层的后续层次。这一层主要负责将ODS层中的数据进行进一步的清洗、转换和加载,并将数据存储到数据仓库的明细表中。DWD层的主要...
这是一张典型的数据仓库架构图。按自下而上的顺序,分别为数据仓库ETL(Extract-Transform-Load)层、ODS(Operational Data Store)层、CDM(Common Dimensional Model)层和ADS(Application Data Store)层。其…
DWD层指数据明细层,通常接收数据仓库ODS层的原始数据,并进行清洗、标准化、维度退化、异常数据剔除等操作,进行统一处理,为数据分析提供支持。DWD层一般按照业务主题建模,包含多个维度和事实表,维度表可以用来描述业务数据的特征,而事实表则包含了关键数据指标(如销量、价格等)。
分别是ODS、DWD、DIM、DWS、DWT、以及ADS层。其中除了ADS层(数据应用层、报表应用层指标计算存储)不涉及建模以外。其他均涉及建模工作。 三、ODS层 1、ODS层设计要点 这层又叫“贴源层”,存储来自多个业务系统、前端埋点、爬虫获取等的一系列数据源的数据。我们主要做三件事: ...
作为数据仓库的第三层,DWS对DWD数据进行聚合和汇总。在这一层,数据被进一步处理成汇总数据,便于生成报告、进行分析和预测。聚合层的数据为企业的管理决策提供了有力的支持。 数据仓库分层中的ODS、DWD、DWS是构建高效数据仓库的重要概念和技术。它们不仅优化了数据质量,提高了数据处理效率,还降低了数据处理成本,并支持...
DWD层指数据明细层,通常接收数据仓库ODS层的原始数据,并进行清洗、标准化、维度退化、异常数据剔除等操作,进行统一处理,为数据分析提供支持。DWD层一般按照业务主题建模,包含多个维度和事实表,维度表可以用来描述业务数据的特征,而事实表则包含了关键数据指标(如销量、价格等)。