DW数据分层,由下到上为DWD,DWB,DWS。 DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。 数据清洗:去除空值、脏数据、超过极限范围的 DWB:data warehouse base 数据基础层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。 DWS:da...
1.4.1 表名命名规范 ODS层命名为ods_表名 _DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名...
建模方式及原则:数据模型与ODS层一致,不做清晰转换处理、为支持数据重跑可额外增加数据业务日期字段、可按年月日进行分表、用增量ODS层数据和前一天DWD相关表进行merge处理 3. DW(B/S)数据汇总层 功能: 为DW、ST层提供细粒度数据,细化成DWB合DWS; DWB是根据DWD明细数据经行清晰转换,如维度转代理键、身份证清洗...
DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。用于提供后续的业务查询,OLAP分析,数据分发等。 用户行为,轻度聚合 主要对ODS/DWD层数据做一些轻度的汇总。 1)公共维度层(DIM,Dimension) DIM:这一层比较单纯,举个例子就明白,比如国家代码和国家名...
01 贴源层(ODS, Operational Data Store) 数据引入层(ODS,Operational Data Store,又称数据基础层):将原始数据几乎无处理地存放在数据仓库系统中,结构上与源系统基本保持一致,是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储。 一般来说 ODS 层的数据和源系统的数据是同构的,主要目的是简化后续...
ODS:Operation Data Store,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。 DW数据分层,由下到上一般分为DWD,DWB,DWS。 DWD:Data Warehouse Details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗(去除空值、脏数据、超过...
数据仓库一般分为ODS层、DWD和DWS层、app应用层(ADS层)。ODS层:数据仓库源头系统的数据表通常会原封不动地存储一份,这成为ODS(Operation Data Store)层。它们是...(Data Market,DM),一般来说应用层的数据来源于DW层,而且相对于DW层,应用层只包含部门或者业务方面自己关心的明细层和汇总层的数据。数据仓库逻辑分...
数据仓库层（DWD层），数据明细层的数据应是经过ODS清洗，转后后的一致的、准确的、干净的数据。DWD层数据粒度通常和ODS的粒度目同，不同的是该层的数据质量更高，字段更全面等。数据集市层（DWS层），面向主题来组织数据的，通常是星形或我雪花结构的数据。从数据粒度来说，这层的数据是轻度汇总级的数据，已经...
DW存放明细事实数据、维表数据及公共指标汇总数据。其中,明细事实数据、维表数据一般根据ODS层数据加工生成。公共指标汇总数据一般根据维表数据和明细事实数据加工生成。 DW层又细分为维度层(DIM)、明细数据层(DWD)和汇总数据层(DWS),采用维度模型方法作为理论基础, 可以定义维度模型主键与事实模型中外键关系,减少数据...
数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。