在DW层中,数据通常被组织成星形模型或雪花模型,以方便查询和报表生成。APP层是应用层,它是数据仓库的顶层。APP层的作用是将数据提供给最终用户使用,它通常包含各种报表、查询和数据分析工具。APP层的数据通常是干净、一致和可用的,它可以帮助用户更好地理解企业的业务情况,并做出更好的决策。最后是DIM层,它是维度表...
DW(Data Warehouse)层:即数据仓库层,是一个独立的数据环境,从ODS层中提取出关键数据,并对数据进行清洗、整合和重构,以保证数据的一致性和完整性。DW层的数据通常按照主题进行组织,以便于数据分析和管理。APP(Application Layer)层:即应用层,用于存储面向应用的数据。这些数据通常包括一些汇总数据、指标数据和规则数据...
在源数据装入这一层时,要进行诸如去噪(例如有一条数据中人的年龄是 300 岁,这种属于异常数据,就需要提前做一些处理)、去重(例如在个人资料表中,同一 ID 却有两条重复数据,在接入的时候需要做一步去重)、字段命名规范等一系列操作。 1.2 数据仓库层...
在源数据装入这一层时,要进行诸如去噪(例如有一条数据中人的年龄是 300 岁,这种属于异常数据,就需要提前做一些处理)、去重(例如在个人资料表中,同一 ID 却有两条重复数据,在接入的时候需要做一步去重)、字段命名规范等一系列操作。 1.2 数据仓库层DW? 数据仓库层(DW),是数据仓库的主体.在这里,从 ODS 层中...
1.5 ODS、DW → App层 这里面也主要分两种类型: 每日定时任务型:比如我们典型的日计算任务,每天凌晨算前一天的数据,早上起来看报表。 这种任务经常使用 Hive、Spark 或者生撸 MR 程序来计算,最终结果写入 Hive、Hbase、Mysql、Es 或者Redis中。 实时数据:这部分主要是各种实时的系统使用,比如我们的实时推荐、实时...
每个公司的业务都可以根据自己的业务需求分层不同的层次;目前比较成熟的数据分层:数据运营层ODS、数据仓库层DW、数据服务层ADS(APP)。 数据运营层ODS 数据运营层:Operation Data Store 数据准备区,也称为贴源层。数据源中的数据,经过抽取、洗净、传输,也就是ETL过程之后进入本层。该层的主要功能: ...
每个公司的业务都可以根据自己的业务需求分层不同的层次;目前比较成熟的数据分层:数据运营层ODS、数据仓库层DW、数据服务层ADS(APP)。 数据运营层ODS 数据运营层:Operation Data Store 数据准备区,也称为贴源层。数据源中的数据,经过抽取、洗净、传输,也就是ETL过程之后进入本层。该层的主要功能: ...
每个公司的业务都可以根据自己的业务需求分层不同的层次;目前比较成熟的数据分层:数据运营层ODS、数据仓库层DW、数据服务层ADS(APP)。 数据运营层ODS 数据运营层:Operation Data Store 数据准备区,也称为贴源层。数据源中的数据,经过抽取、洗净、传输,也就是ETL过程之后进入本层。该层的主要功能: ...
数据仓库层(DW),是数据仓库的主体.在这里,从 ODS 层中获得的数据按照主题建立各种数据模型。这一层和维度建模会有比较深的联系,可以多参考一下前面的几篇文章。 数据产品层(APP),这一层是提供为数据产品使用的结果数据 在这里,主要是提供给数据产品和数据分析使用的数据,一般会存放在 ES、Mysql 等系统中供线上...
简单来讲,我们可以理解为:基础数据层存放的是接入的原始数据,DW层是存放我们要重点设计的数据仓库中间层数据,数据应用层是面向业务定制的应用数据。 基础数据层 包含STG(数据缓冲层)与 ODS(原始数据层)两层,这两层数据结构与业务数据几乎一致。 STG 数据准备区或数据缓冲区 定位是缓存来自 DB 抽取、消息、日志...