比如ADS层,基本是完全为应用来设计的,很易懂,DWS层的话,相对来讲就会有一点点理解成本,然后DWD层就比较难理解了,因为它的维度可能会比较多,而且一个需求可能要多张表经过很复杂的计算才能完成。 从能力范围来讲,我们希望80%需求由20%的表来支持。直接点讲,就是大部分(80%以上)的需求,都用DWS的表来支持就...
每个公司可根据自己的业务需求分为不同的层次。目前比较成熟的数据分层:数据运营层ODS、数据仓库层DW、数据应用层ADS(APP)。数据仓库层又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 一、ODS层 ODS层(Operation Data Store )数据准备区,也称为贴源层。数据源中的数据,经过抽取、洗净、传输,也...
ODS,DWD,ADS是什么意思 ODS、DWD 和 ADS 是数据仓库中的常见术语,代表了不同的数据处理层次和目标: ODS(Operational Data Store):操作型数据存储层。ODS是一个面向业务操作的数据存储区域,用于保留从源系统抽取的原始数据。ODS通常用于支持实时或近实时的查询和报表需求,并提供对源系统数据的快速访问和响应。 DWD(...
数据仓库层 数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。 为...
这是一张典型的数据仓库架构图。按自下而上的顺序,分别为数据仓库ETL(Extract-Transform-Load)层、ODS(Operational Data Store)层、CDM(Common Dimensional Model)层和ADS(Application Data Store)层。其中CDM层主要包括DWD层(Data Warehouse Detail)和DWS层(Data Warehouse Summary)两部分。
注意：有的公司ODS层不会做太多数据过滤处理,会放到DWD层来处理。有的公司会在一开始时就在ODS层做数据相对精细化的过滤.这个并没有明确规定,看每个公司自己的想法和技术规范。一般企业开发时,都会对原始数据存入到ODS时,做一些最基本的处理。数据来源区分 数据按照时间分区存储,一般是按照天,也有公司使用年、月、...
ODS是原始数据层，也称为贴源层，是后面数据仓库层的准备区，为DWD层提供原始数据，其主要功能是减少对...
DW存放明细事实数据、维表数据及公共指标汇总数据。其中,明细事实数据、维表数据一般根据ODS层数据加工生成。公共指标汇总数据一般根据维表数据和明细事实数据加工生成。 DW层又细分为维度层(DIM)、明细数据层(DWD)和汇总数据层(DWS),采用维度模型方法作为理论基础, 可以定义维度模型主键与事实模型中外键关系,减少数据...
数据运营层ODS 数据运营层:Operation Data Store 数据准备区,也称为贴源层。数据源中的数据,经过抽取、洗净、传输,也就是ETL过程之后进入本层。该层的主要功能: ODS是后面数据仓库层的准备区 为DWD层提供原始数据 减少对业务系统的影响 为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工...
1、贴源层(ODS, Operational Data Store) 数据引入层(ODS,Operational Data Store,又称数据基础层):将原始数据几乎无处理地存放在数据仓库系统中,结构上与源系统基本保持一致,是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储。 一般来说 ODS 层的数据和源系统的数据是同构的,主要目的是简化后续...