DWS层:应用层汇总层,主要是将DWD和DWS的明细数据在hadoop平台进行汇总,然后将产生的结果同步到DWS数据库,提供给各个应用。举个例子,从ODS层中对用户的行为做一个初步汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让...
ods层可以有不脱敏的数据,但这样的表有权限 6、压缩,优势:减少磁盘空间 7、列式存储,parquet:提高查询效率 8、分区表: 用户行为数据 ods_start:get_json_object()函数 ods_event:使用自定义UDF、自定义UDTF,以及额外的get_json_object()进行后续解析 业务数据 用户、支付、订单表、订单详情、商品表 三、DWS层...
1)、ODS层数据:原始数据,往往来源于业务系统产生的数据,比如RDBMS表数据、日志文件数据或爬虫获取数据及第三方购买的数据等 有时,将业务数据中维度数据,单独放到一层:DIM层(维度层),存储都是维度表的数据。 主题指标开发,按照数据仓库分层结构进行存储数据,分为典型数仓三层架构:ODS 层、DW层和APP层,更加有效的数...
ODS层:ODS层属于操作数据层,是直接从业务系统采集过来的最原始的数据,包含了所有业务的变更过程,数据粒度也是最细的。 DWD层:是在ODS层基础上,根据业务过程建模出来的实时事实明细层,对于访问日志这种数据,会回流到离线系统供下游使用,最大程度地保证实时和离线数据ODS层和DWD层一致。 DWS层:订阅明细层数据后,会在...
(一) ODS层(原始数据层) ODS全称为Operational Data Store,翻译成中文为操作型数据存储,是面向主题的、集成的、可变的、反映当前数据值的、详细的数据的集合,用来满足企业综合的、集成的和操作型的处理需求。 ODS层的表通常包括两类,一类用于存储当前需要加载的数据,另一类用于存储处理完后的历史数据。...
数仓维度层DWS层构建 01:项目回顾 ODS层与DWD层的功能与区别是什么? ODS:原始数据层 存储格式:AVRO 数据内容:基本与原始数据是一致的 DWD:明细数据层 存储格式:Orc 数据内容:基于与ODS层是一致的 ODS层的需求是什么? 自动化建库建表 建表 代码语言:javascript ...
ODS层:ODS层属于操作数据层,是直接从业务系统采集过来的最原始的数据,包含了所有业务的变更过程,数据粒度也是最细的。 DWD层:是在ODS层基础上,根据业务过程建模出来的实时事实明细层,对于访问日志这种数据,会回流到离线系统供下游使用,最大程度地保证实时和离线数据ODS层和DWD层一致。 DWS层:订阅明细层数据后,会在...
数据仓库层从上到下,又可以分为3个层:数据细节层DWD、数据中间层DWM、数据服务层DWS。 1) 数据细节层DWD 数据细节层:data warehouse details,DWD(数据清洗/DWI) 该层是业务层和数据仓库的隔离层,保持和ODS层一样的数据颗粒度;主要是对ODS数据层做一些数据的清洗和规范化的操作,比如去除空数据、脏数据、离群值...
数仓往往分为三层,ods、dw、dm,而dw层又可以根据业务细分为dwd、dws、dwa等多层 ods层 操作型数据层,存放的是从不同来源进入数仓的原始数据,ods层往往只存放少量加工的原始数据,因此这里的数据不是集成的。 dw层 数据仓库的核心,它根据数仓架构可能再次细分多层: dwd层 数据细节层。将ods层的数据统一整合后,...
DWD层:是在ODS层基础上,根据业务过程建模出来的实时事实明细层,对于访问日志这种数据,会回流到离线系统供下游使用,最大程度地保证实时和离线数据ODS层和DWD层一致。 DWS层:订阅明细层数据后,会在实时计算任务中计算各个维度的汇总指标。如果维度是各个垂直业务线通用的,则会放在实时通用汇总层,作为通用的数据模型使用...