此外,数据服务层还会提供一些数据服务和工具,例如ETL(Extract, Transform, Load)工具、OLAP(On-Line Analytical Processing)工具等。 3. 数据应用层(ADS,Application Data Service): 数据应用层是数据仓库的最顶层,主要用于支持具体的应用程序和业务场景。数据应用层的主要功能包括提供数据报表、分析报告和决策支持信息等...
比如ADS层,基本是完全为应用来设计的,很易懂,DWS层的话,相对来讲就会有一点点理解成本,然后DWD层就比较难理解了,因为它的维度可能会比较多,而且一个需求可能要多张表经过很复杂的计算才能完成。 从能力范围来讲,我们希望80%需求由20%的表来支持。直接点讲,就是大部分(80%以上)的需求,都用DWS的表来支持就...
DWS(Data Warehouse Summary)层 DWS层是数据仓库中的汇总层,其主要任务是对DWD层中的数据进行聚合和汇总,形成宽表。通过这一层的处理,数据的分析性能得到显著提升。DWS层通常包含多个宽表,每个宽表由多个事实表和维度表经过聚合和分组运算生成,从而支持更高效的数据查询和分析。 ADS(Application Data Store)层 ADS层是...
面向实际的数据需求,以DWD或者DWS层的数据为基础,组成的各种统计报表。 统计结果最终同步到RDS以供BI或应用系统查询使用。 ADS层的主要任务是将DWS层的数据进行业务化加工和转换,以生成各种针对具体业务需求的洞察和分析结果。此外,ADS层还负责提供各种业务应用和服务,包括数据可视化、报表生成、数据挖掘、预测建模、决策...
数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。
这是一张典型的数据仓库架构图。按自下而上的顺序,分别为数据仓库ETL(Extract-Transform-Load)层、ODS(Operational Data Store)层、CDM(Common Dimensional Model)层和ADS(Application Data Store)层。其中CDM层主要包括DWD层(Data Warehouse Detail)和DWS层(Data Warehouse Summary)两部分。
ADS层(Application Data Service Layer)是数据仓库中的最上层,它是基于DWS层数据进行二次加工和业务应用开发的层级。ADS层通常是面向特定的业务场景和业务需求进行建模和开发,提供各种业务分析、报表、可视化和决策支持等服务。 ADS层的主要任务是将DWS层的数据进行业务化加工和转换,以生成各种针对具体业务需求的洞察和分...
数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。
数据应用层:Application Data Service,ADS; 该层主要是提供给数据产品和数据分析使用的数据,一般会存放在ES、Redis、PostgreSql等系统中供线上系统使用;也可能存放在hive或者Druid中,供数据分析和数据挖掘使用,比如常用的数据报表就是存在这里的。 事实表 Fact Table ...
这是一张典型的数据仓库架构图。按自下而上的顺序,分别为数据仓库ETL(Extract-Transform-Load)层、ODS(Operational Data Store)层、CDM(Common Dimensional Model)层和ADS(Application Data Store)层。其…