数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD(数据清洗/DWI)该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。...
DWS和DWD虽然都是数据仓库体系中的重要组成部分,但它们在功能和应用场景上有明显的区别。DWS主要用于汇总和分析高层次数据,而DWD则存储详细的、原始的业务数据。 DWS和DWD的区别主要体现在数据的抽象层次和使用目的上。DWS的数据经过汇总和转换,适用于高层次的决策和分析;而DWD的数据保留了细节和完整性,适用于需要进行...
DW :data warehouse 翻译成数据仓库 DW数据分层,由下到上为 DWD,DWB,DWS DWD:data warehouse detail 细节数据层,有的也称为 ODS层,是业务层与数据仓库的隔离层 DWB:data warehouse base 基础数据层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。 DWS:data warehouse service 服务数据层,基于DW...
DWD是业务层与数据仓库的隔离层, 这一层主要解决一些数据质量问题和数据的完整度问题。 明细表用于存储ODS层原始表转换过来的明细数据,DWD 层的数据应该是一致的、准确的、干净的数据,即对源系统数据ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据,行式存储改为列存储,改压缩格式)、规范化、维度退化、脱敏...
数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD(数据清洗/DWI) 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。
分别是ODS、DWD、DIM、DWS、DWT、以及ADS层。其中除了ADS层(数据应用层、报表应用层指标计算存储)不涉及建模以外。其他均涉及建模工作。 三、ODS层 1、ODS层设计要点 这层又叫“贴源层”,存储来自多个业务系统、前端埋点、爬虫获取等的一系列数据源的数据。我们主要做三件事: ...
数据仓库分层中的ODS、DWD、DWS 1.数据仓库DW 1.1简介 Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-...
DWS层一般都是存储与一定业务相关的数据,可以说是一种结果数据,建模数据,所以与DWD相比数据占用空间会更小。 4. DM层 DM层即数据集市层,是以某个业务应用为出发点而建设的局部DW,通常是星形或雪花结构的数据。DM只关心自己需要的数据,它需要结构清晰、针对性强。
总的来说,分层概念以及ODS、DM、DWD、DWS和DIM的概念,提供了一种对数据进行有效管理和利用的层级结构。通过这种结构,数据可以更有效地支持企业的决策制定和业务发展。在理解和应用这些概念时,需要注意每个层级的特性、功能以及它们之间的联系和区别,这样才能够更好地在实际应用中利用这些概念来提升数据的价值和效率。