为了满足数据时效,以及企业级大规模普惠用数的诉求,企业内部的大数据平台需要不仅支持批量计算,还需要满足各类用数场景全栈覆盖的技术体系。以工行为例,大数据平台内部除批量计算之外,包含实时计算,联机分析、数据 API 等平台,主要以 Flink 作为内部引擎,用于缩短数据端到端闭环时间,形成联机高并发的访问能力,提升数据赋...
为了满足数据时效,以及企业级大规模普惠用数的诉求,企业内部的大数据平台需要不仅支持批量计算,还需要满足各类用数场景全栈覆盖的技术体系。以工行为例,大数据平台内部除批量计算之外,包含实时计算,联机分析、数据 API 等平台,主要以 Flink 作为内部引擎,用于缩短数据端到端闭环时间,形成联机高并发的访问能力,提升数据赋...
工商银行作为国内领先的金融机构,其实时大数据平台的建设历程具有很强的代表性。本文将回顾工商银行实时大数据平台的发展历程,分析其技术架构和特点,并展望未来的发展趋势。 一、建设历程 工商银行的实时大数据平台建设始于2002年,当时主要使用Oracle类单机版的关系型数据库来存储和管理数据。随着数据量的不断增长,工商银行...
为了满足数据时效,以及企业级大规模普惠用数的诉求,企业内部的大数据平台需要不仅支持批量计算,还需要满足各类用数场景全栈覆盖的技术体系。以工行为例,大数据平台内部除批量计算之外,包含实时计算,联机分析、数据 API 等平台,主要以 Flink 作为内部引擎,用于缩短数据端到端闭环时间,形成联机高并发的访问能力,提升数据赋...
分享人 | 袁一 中国工商银行大数据平台负责人 本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望 一、工行实时大数据平台建设历程 工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据...
工商银行历经多年的攻坚克难,建成集技术全栈覆盖、数据跨域聚合、资源弹性共享、生态开放共建于一体的大数据服务平台,突破存储和计算资源无法独立扩缩容的技术瓶颈,通过存算分离架构,实现资源的精细化管理,强化节点专用性,有效提升资源利用率。目前,...
中国工商银行大数据和人工智能实验室 / 部门经理袁一将发表题为《工商银行大数据平台助力全行数字化转型之路》主题分享,介绍实时数仓技术在工商银行的技术实践及典型案例、在运营大规模大数据集群和大数据平台在实践信创转型时的经验、在向大数据平台云原生架构演进的实践,以及数据洞察平台(EasyDI)的实施。
一、工行实时大数据平台建设历程 工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加,开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台,在其之上构建了企业级数据湖及数据仓库。2017 年,随着 AI 技术的兴起,又开始建设机器学习...
以大数据为支撑,构建领先的风险管控体系 【王都富】:大数据技术支撑对广大中小商户提供融资的服务,为广大个人提供消费金融的服务。基于大数据风控的体系,以大数据科技为支撑,构建领先的风控的体系,保障我们业务的健康快速可持续的发展。所以我们现在建立信用卡业务板块决策数据的平台。我们过去的数据都是行业的数据,现在互联...
本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享。主要内容包括: 工行实时大数据平台建设历程 工行实时大数据平台建设思路 展望 FFA 2021 直播回放 & 演讲 PDF 下载 一、工行实时大数据平台建设历程 工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着...