直接点讲,就是大部分(80%以上)的需求,都用DWS的表来支持就行,DWS支持不了的,就用DWM和DWD的表来支持,这些都支持不了的极少一部分数据需要从原始日志中捞取。结合第一点来讲的话就是:80%的需求,我们都希望以对应用很友好的方式来支持,而不是直接暴露给应用方原始日志。 从数据聚合程度来讲,我们希望,越上层...
DWS主要用于汇总和分析高层次数据,而DWD则存储详细的、原始的业务数据。 在数据仓库体系中,DWD提供了详细的、原始的数据记录,为DWS的数据汇总和分析提供了基础。通过ETL过程,DWD的数据被清洗、转换和加载到DWS中,从而形成一个统一的数据视图,支持企业的决策和分析需求。 DWS和DWD的协同作用不仅提高了数据的处理和分析...
轻度综合层与DWD的主要区别在于⼆者的应⽤领域不同，DWD的数据来源于⽣产型系统，并未满意⼀些不可预见的需求⽽进⾏沉淀;轻度综合层则⾯向分析型应⽤进⾏细粒度的统计和沉淀 数据⽣成⽅式：由明细层按照⼀定的业务需求⽣成轻度汇总表。明细层需要复杂清洗的数据和需要MR处理的数据也经过处理...
数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层 数据细节层:data warehouse details,DWD(数据清洗/DWI) 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。
综上所述,虽然ODS层和ADS层在数据仓库中都扮演着重要的角色,但它们在位置、功能、数据处理深度等方面存在明显的区别。在实际应用中,应根据企业的具体需求和业务环境,合理选择和使用这两个层次的数据仓库。 提高数据访问和查询速度 ADS层(Application Data Service Layer)是数据仓库中的最上层,它基于DWS层数据进行二...
DWS层一般都是存储与一定业务相关的数据,可以说是一种结果数据,建模数据,所以与DWD相比数据占用空间会更小。 4. DM层 DM层即数据集市层,是以某个业务应用为出发点而建设的局部DW,通常是星形或雪花结构的数据。DM只关心自己需要的数据,它需要结构清晰、针对性强。
基于DWD 明细数据层,我们会按照一些分析场景、分析实体等去组织我们的数据,组织成一些分主题的汇总数据层 DWS。明细粒度 ==> 汇总粒度DWS层(数据汇总层)宽表,面向主题的汇总,维度相对来说比较少,DWS是根据DWD层基础数据按各个维度ID进行粗粒度汇总聚合,如按交易来源,交易类型进行汇合。整合汇总成分析某一个主题域的...
总的来说,分层概念以及ODS、DM、DWD、DWS和DIM的概念,提供了一种对数据进行有效管理和利用的层级结构。通过这种结构,数据可以更有效地支持企业的决策制定和业务发展。在理解和应用这些概念时,需要注意每个层级的特性、功能以及它们之间的联系和区别,这样才能够更好地在实际应用中利用这些概念来提升数据的价值和效率。
数据仓库分层中的ODS、DWD、DWS 1.数据仓库DW 1.1简介 Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-...