但是现实中接触的情况是 ods 层的数据很难保证质量,毕竟数据的来源多种多样,推送方也会有自己的推送逻辑,在这种情况下,我们就需要通过额外的一层 dwd 来屏蔽一些底层的差异。问:我大概明白了,是不是说 dwd 主要是对 ods 层做一些数据清洗和规范化的操作,dws 主要是对 ods 层数据做一些轻度的汇总? 答:对的,...
2.1、login_count 登录次数这个指标简单,根据dwd层,dwd_page_log表可以直接计算。 2.2、cart_count 加入购物车次数;favor_count 收藏次数;这两个指标也是很简单,直接根据dwd层,dwd_action_log表中获取。 2.3、order_count 下单次数;order_activity_count订单参与活动次数;order_activity_reduce_amount订单减免金额(活动...
数据仓库的DWS层(Data Warehouse Service Layer)是数据仓库架构中的一层,它是在DWD层的基础上进一步处理数据,提供更加灵活、高效、可扩展的数据查询和分析服务。 DWS层的主要任务是对DWD层的数据进行加工、聚合、计算和汇总,以满足各种业务需求和分析场景。在DWS层,数据模型以业务应用为中心,根据业务流程和业务需求进行...
概念:轻度汇总层数据仓库中DWD层和DM层之间的一个过渡层次,是对DWD层的生产数据进行轻度综合和汇总统计(可以把复杂的清洗,处理包含,如根据PV日志生成的会话数据)。轻度综合层与DWD的主要区别在于二者的应用领域不同,DWD的数据来源于生产型系统,并未满意一些不可预见的需求而进行沉淀;轻度综合层则面向分析型应用进行细...
数据服务层:DWS(Data WareHouse Servce) 1.2.1 DWD明细层? 明细层(ODS, Operational Data Store,DWD: data warehouse detail) 概念:是数据仓库的细节数据层,是对STAGE层数据进行沉淀,减少了抽取的复杂性,同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式,将各个专业数据进行集中,明细层跟stage层的粒度一致...
这里解释一下DWS、DWD、DIM和TMP的作用。 DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让计算更加...
1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）1.2.1 DWD明细层?明细层(ODS, Operational Data Store,DWD: data warehouse detail)概念：是数据仓库的细节数据层，是对STAGE层数据进⾏沉淀，减少了抽取的复杂性，同时ODS...
简介:本文详细介绍了数据仓库和数据挖掘中的关键概念,包括分层概念、ODS(Operational Data Store)、DM(Data Mining)、DWD(Data Warehouse Detail)、DWS(Data Warehouse Summary)和DIM(Date Intelligence Module),并重点突出了这些概念中的重点词汇或短语,同时引入了百度智能云文心快码(Comate)作为数据处理和分析的辅助工具...
综上,DWD目标是确保数据在质量、安全性、效率和可用性方面都满足数据仓库和业务分析的需求。通过DWD层的处理,数据将被准备好供下一层(数据应用层、数据分析层等)使用。 2.3 DIM(Dimension)公共维度层 基于维度建模理论进行构建,存放维度模型中的维度表保存一致性维度信息 ...
数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 数据细节层DWD 数据细节层:data warehouse details,DWD 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值等。