导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库，实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍，为智能化、高效化转型指明了方向。雨润控股集团是一家集食...
在导入方面,Doris 一直以来在做各种生态和加强,根据数据量大小,可以做不同时间可见度的方案设计,比如秒级的微批次数据同步,比如大批次的分钟级、小时级的同步,Doris 提供了诸多的数据同步能力,无论是对接外部同步组件,还是诸如 RoutineLoad、StreamLoad、Catalog、TVF等等能力,可以让数据同步在不同场景下设计不同使用方...
导读：物易云通目前已成为国内产融供应链运营服务平台的领军企业之一，平台年交易额超过 200 亿元，随着公司业务的快速发展，对数据计算分析的时效要求也越来越高。经数据团队的调研对比，于 2021 年引入了 Apache Doris 作为实时数据仓库。实战过程中获得一些经验，在此分享给大家。作者｜物易云通/司机宝大数据负责人 ...
元数据采集分为人工录入和自动抽取,通过人工录入的方式实现物理表的准确归属(包括该表属于仓库哪一层、对应的主题、业务过程、星型模型关系等)以及指标的采集,从而完成技术元数据和业务元数据的采集,通过自动抽取的方式完成生产元数据的采集和使用元数据的采集,主要包括:物理模型的依赖关系、存储占用、热度等信息 血缘关...
全新的湖仓一体架构 随着Apache Doris 湖仓一体的能力日趋成熟,我们基于 Apache Doris 构建了全新的湖仓一体架构,并针对不同应用场景设计了不同的数据解决方案: 数仓分层存储:将数据实时写入 Apache Doris 中,所有热数据的查询均在 Apache Doris 数据仓库中进行,根据 TTL 策略将热数据转冷至数据湖中; ...
血缘关系:这块因为我们数仓是用的Apache doris,实现起来相对月Hadoop架构的简单了很多,通过Flume采集每个Doris Fe节点的审计日志(fe.audit.log)中的sql,通过阿里开源的数据库连接池Druid进行解析自动生成,这里同时还可以对SQL操作进行一些安全审计,比如Delete,truncate,drop及sql执行成功失败,执行时间等进行审计预警 ...
全新的湖仓一体架构 随着Apache Doris 湖仓一体的能力日趋成熟,我们基于 Apache Doris 构建了全新的湖仓一体架构,并针对不同应用场景设计了不同的数据解决方案: 数仓分层存储:将数据实时写入 Apache Doris 中,所有热数据的查询均在 Apache Doris 数据仓库中进行,根据 TTL 策略将热数据转冷至数据湖中; ...
所以这里数仓是使用Doris作为核心组件来构建 架构说明: 数仓整体以Doris为核心构建公司企业级数据仓库,(后期会根据实际需要还可能会引进Hive、ClickHouse等其他组件) 通过统一的数据采集系统,多种数据采集手段,包括Mysql binlog解析(Cannal),日志采集Flume(Doris审计日志)、埋点接口等实现多种异构数据的采集,针对Mysql,Kafk...
导读:物易云通目前已成为国内产融供应链运营服务平台的领军企业之一,平台年交易额超过 200 亿元,随着公司业务的快速发展,对数据计算分析的时效要求也越来越高。经数据团队的调研对比,于 2021 年引入了 Apache Doris 作为实时数据仓库。实战过程中获得一些经验,在此分享给大家。
前面我们讲了什么是数据中台,及数据中台的架构及功能规划,这次我们开始从数据资产开始拆解每个功能模块做的内容 1.概述 数据资产管理平台可以定量评估数据资产的成本,价值,质量。...