DW :data warehouse 翻译成数据仓库 DW数据分层,由下到上为 DWD,DWB,DWS DWD:data warehouse detail 细节数据层,有的也称为 ODS层,是业务层与数据仓库的隔离层 DWB:data warehouse base 基础数据层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。 DWS:data warehouse service 服务数据层,基于DW...
数据中间层:Data Warehouse Middle,DWM该层是在DWD层的数据基础上,对数据做一些轻微的聚合操作,生成一些列的中间结果表,提升公共指标的复用性,减少重复加工的工作。简答来说,对通用的核心维度进行聚合操作,算出相应的统计指标。 数据服务层DWS 数据服务层:Data Warehouse Service,DWS(宽表-用户行为,轻度聚合)该层是...
比如ADS层,基本是完全为应用来设计的,很易懂,DWS层的话,相对来讲就会有一点点理解成本,然后DWD层就比较难理解了,因为它的维度可能会比较多,而且一个需求可能要多张表经过很复杂的计算才能完成。 从能力范围来讲,我们希望80%需求由20%的表来支持。直接点讲,就是大部分(80%以上)的需求,都用DWS的表来支持就...
DWS和DWD在数据仓库体系中发挥着协同作用,共同支持企业的数据管理和分析需求。DWS主要用于汇总和分析高层次数据,而DWD则存储详细的、原始的业务数据。 在数据仓库体系中,DWD提供了详细的、原始的数据记录,为DWS的数据汇总和分析提供了基础。通过ETL过程,DWD的数据被清洗、转换和加载到DWS中,从而形成一个统一的数据视图...
见下图,对DWD层在进行加工的话,就是DWM层(MID层)(我们的数仓还是有很多dwm层的) 这里解释一下DWS、DWD、DIM和TMP的作用。 DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值...
这里解释一下DWS、DWD、DIM和TMP的作用。 DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让计算更加的高效,在此基础上如果计算仅7天、30天、90天的行为的话会...
DWS层一般都是存储与一定业务相关的数据,可以说是一种结果数据,建模数据,所以与DWD相比数据占用空间会更小。 4. DM层 DM层即数据集市层,是以某个业务应用为出发点而建设的局部DW,通常是星形或雪花结构的数据。DM只关心自己需要的数据,它需要结构清晰、针对性强。
而在数据仓库的分层中,DWD、DWS和ADS这三个词汇常常让我们感到困惑。本文将详细介绍这三者的含义,并帮助读者理解它们在数据仓库分层中的具体应用。 数据仓库是一个用于存储和管理大量数据的系统,通常用于分析和报告。数据仓库的分层设计是为了更好地组织和管理数据,提高数据处理的效率和灵活性。以下是数据仓库的三个...
一、DWD DWD全称为Data Warehouse Detailed层,即数据仓库详细层,是数据仓库系统中最底层的一层,其主要功能是存放原始数据或基础数据,包括业务操作明细数据、交易数据、日志表等。此层的数据具有很高的准确性和完整性,数据结构也非常规范,可以为数据仓库的上层提供清晰的数据源。 此外,在DWD层还需完成对数据的清洗、...
DWB,即数据仓库桥接层,位于DWD层之上,主要负责将不同来源的数据进行整合和集成。这一层的主要任务是将来自不同业务系统的数据进行整合,以便于后续的数据分析和决策支持。DWB层还需要根据业务需求进行数据筛选和过滤,以确保数据的质量和准确性。 DWS(Data Warehouse Service) DWS,即数据仓库服务层,是数据仓库的最顶层...