数据仓库层又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 一、ODS层 ODS层(Operation Data Store )数据准备区,也称为贴源层。数据源中的数据,经过抽取、洗净、传输,也就是ETL过程之后进入本层。通常包含多个数据源,包括企业内部的各种业务系统、外部的数据供应商、第三方数据服务等。这些数据...
DWS层指数据汇总层,其主要作用是通过聚合和汇总,将DWD层中的数据按照主题进行汇总,形成宽表,进而提升数据分析性能。DWS层通常包含多个宽表,每个宽表都是由多个事实表和维度表经过聚合和分组运算生成的。DWS层中的宽表可以满足特定主题和不同维度的分析需求,减少了对...
数据准备层(Data Preparation Layer):DWD(Data Warehouse Detail)层,用于存储经过清洗、转换和整合的数据。这些数据通常已经满足了一定的业务需求,但可能还需要进一步的处理和优化。 数据集市层(Data Mart Layer):DWS(Data Warehouse Service)层,用于存储特定业务领域的汇总数据。这些数据通常已经经过了一定程度的聚合和汇...
DWD是数据仓库中的细节层,存储从数据源获取的原始数据。它保留了数据源中的所有列和记录,不进行任何聚合或分组操作。DWD的设计需基于数据源的结构和特点,确保数据的完整性和一致性。 DWS(Data Warehouse Summary) DWS是数据仓库中的汇总层,对DWD层的数据进行聚合或分组操作。它包含聚合后的数据,如事实表中的度量值...
数据应用层,也叫DM(数据集市)或APP层等,面试实际的数据需求,可以直接给业务人员使用,以DWD或者DWS层的数据为基础,组成各种统计报表。除此之外还有一些直接的表现形式,例如主题大宽度表集市,以及横表转纵表等。 宽表 宽表这块我的理解是,基于维度模型的扩展,采用退化维度的方式,将不同维度的度量放入数据表的不同列...
ODS、DWD、DWS、ADS之间的关系和数据流转过程 数据流转过程: ODS层:原始数据从业务库、埋点日志、消息队列等源系统接入ODS层。 DWD层:ODS层的数据经过清洗和初步加工后,流入DWD层。 DWS层:DWD层的数据经过进一步整合和汇总后,流入DWS层,形成主题数据。 ADS层:DWS层的数据经过分析和挖掘后,生成数据报表、数据分析...
DW数据分层,由下到上为DWD,DWB,DWS。 DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。 数据清洗:去除空值、脏数据、超过极限范围的 DWB:data warehouse base 数据基础层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。 DWS...
数据仓库分层中的ODS、DWD、DWS 在数据仓库领域中,分层建设是一个基本的原则。通过分层,数据仓库的构建可以更加清晰、高效,同时也可以提高数据仓库的运行效率和数据质量。在数据仓库分层建设中,ODS、DWD、DWS是三个基本的层次。 ODS层(操作数据存储) ODS(Operational Data Store)层是数据仓库中最贴近业务操作的一层,...
3. DWD(Data Warehouse Detail):数据仓库明细层,用于存储详细、完整的数据,支持企业数据的跨部门和跨系统共享和查询。 4. DWS(Data Warehouse Summary):数据仓库汇总层,用于提供业务汇总分析服务,对原始数据进行聚合计算和加工,供企业决策层使用。 5.ADS(ApplicationData Service):应用数据服务,用于存放数据产品个性化...