ODS层最好理解,基本上就是数据从源表拉过来,进行etl,比如mysql 映射到hive,那么到了hive里面就是ods层。 ODS 全称是 Operational Data Store,操作数据存储.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取...
ODS ODS(Operational Data Store)是操作数据存储,它是一个集成了多个操作型系统的数据存储层。ODS的主要目的是为了解决操作型系统中数据的不一致性和数据孤岛问题,它提供了一个统一的视图,以便更好地支持企业数据分析和决策。在ODS中,数据会被清洗、转换和加载,以保证数据的一致性和完整性。 DW DW(Data Warehouse)...
而在数据仓库中,一个重要的组成部分就是操作型数据存储(Operational Data Store,简称ODS)。本文将详细解释ODS的含义、应用场景、优势以及在数据仓库中的作用。 一、ODS的定义 操作型数据存储(ODS)是一种用于存储和检索业务数据的数据存储方式。它通常位于企业数据仓库和业务系统之间,充当着一个数据缓冲区和数据集市的...
按自下而上的顺序,分别为数据仓库ETL(Extract-Transform-Load)层、ODS(Operational Data Store)层、CDM(Common Dimensional Model)层和ADS(Application Data Store)层。其中CDM层主要包括DWD层(Data Warehouse Detail)和DWS层(Data Warehouse Summary)两部分。 数据仓库架构图 一、数据仓库ETL/ELT 数据仓库ETL主要用于...
简介:ODS 全称是 Operational Data Store**,操作数据存储.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。
01 贴源层（ODS, Operational Data Store）数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储。一般来说 ODS 层的数据和源系统的数据是同构的，主要目的是简化...
公共维度模型层CDM(Common Data Model)或者 企业级数据仓库EDW (Enterprise Data Warehouse) 公共维度模型层主要用于存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数据一般根据ODS层数据加工生成;公共指标汇总数据一般根据维表数据和明细事实数据加工生成。本层采用维度模型作为建模方法的理论基础,更...
数据引入层(ODS,Operational Data Store,又称数据基础层):将原始数据几乎无处理地存放在数据仓库系统中,结构上与源系统基本保持一致,是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储。一般来说 ODS 层的数据和源系统的数据是同构的,主要目的是简化后续数据加工处理的工作。从数据粒度上来说 ODS 层...
原始层(Raw Layer):原始层也称为ODS(Operational Data Store),用于存储从业务系统或其他数据源获取的原始数据。这些数据通常是未经清洗和转换的,保留了原始的业务数据格式。 数据集成层(Data Integration Layer):数据集成层也称为ETL(Extract, Transform, Load)层,负责将原始数据进行清洗、转换和整合,以满足后续分析的...
Operational data store Data warehouse Location Staging area; the middle ground between data sources and the final data location,like a data warehouse. Final landing location for data; an ODS often feeds data here Query complexity Simple, high-granular queries; high performance ...