概念:轻度汇总层数据仓库中DWD层和DM层之间的一个过渡层次,是对DWD层的生产数据进行轻度综合和汇总统计(可以把复杂的清洗,处理包含,如根据PV日志生成的会话数据)。轻度综合层与DWD的主要区别在于二者的应用领域不同,DWD的数据来源于生产型系统,并未满意一些不可预见的需求而进行沉淀;轻度综合层则面向分析型应用进行细...
主要对ODS/DWD层数据做一些轻度的汇总。 DWS层的数据处理主要包括以下几个方面: 1.数据加工和清洗:对DWD层的数据进行进一步加工和清洗,包括数据清洗、数据转换、数据格式化、数据归一化等,以确保数据质量和准确性。 2.数据聚合和计算:对DWD层的数据进行聚合和计算,生成各种汇总指标、计算结果和模型输出,以支持各种业...
DIM是维度(Dimension)的缩写,是数据仓库中用于组织数据的一种逻辑结构。维度旨在提供一种更好的方式来管理和理解数据,同时还可以提高数据的查询效率。维度通常包括事实和修饰语等,可以用来描述数据的不同方面。在DIM中,数据通常被组织成星型模型和雪花模型等,以便更好地管理和使用数据。总结:分层概念、ODS、DM、DWD、...
2.1、login_count 登录次数这个指标简单,根据dwd层,dwd_page_log表可以直接计算。 2.2、cart_count 加入购物车次数;favor_count 收藏次数;这两个指标也是很简单,直接根据dwd层,dwd_action_log表中获取。 2.3、order_count 下单次数;order_activity_count订单参与活动次数;order_activity_reduce_amount订单减免金额(活动...
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念 前⾔：不是做数仓的，但是也需要了解数仓的知识。其实分层好多因⼈⽽异，问了同事好多分层的区别也不是很清晰。所以后续有机会还是跟数仓的同事碰⼀下吧~⼀. 各种名词解释 1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进⾏etl，⽐...
这里解释一下DWS、DWD、DIM和TMP的作用。 DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让计算更加...
这里解释一下DWS、DWD、DIM和TMP的作用。 DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让计算更加的高效,在此基础上如果计算仅7天、30天、90天的行为的话会...
这里解释一下DWS、DWD、DIM和TMP的作用。 DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让计算更加的高效,在此基础上如果计算仅7天、30天、90天的行为的话会...
DWD通常包含最基础的数据事实和维度,是数据仓库中最核心的部分之一。 DWS DWS(数据仓库服务层)是指数据仓库中用于管理和控制数据的层。它将来自DWD的数据进行进一步的处理和转换,以便满足业务需求。DWS通常包含一些复杂的逻辑和计算,是数据仓库中非常重要的部分之一。 DIM DIM(维度)是指数据仓库中的一种基础数据结构...
见下图,对DWD层在进行加工的话,就是DWM层(MID层)(我们的数仓还是有很多dwm层的) 这里解释一下DWS、DWD、DIM和TMP的作用。 DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层...