工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加,开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台,在其之上构建了企业级数据湖及数据仓库。2017 年,随着 AI 技术的兴起,又开始建设机器学习平台,2020 年开始建设数据中台和...
工商银行的实时大数据平台建设始于2002年,当时主要使用Oracle类单机版的关系型数据库来存储和管理数据。随着数据量的不断增长,工商银行开始引入TD、ED等国外高端一体机来提升数据处理能力。 2014年,工商银行正式基于Hadoop技术建设了大数据平台。该平台采用了分布式存储和计算技术,能够处理海量的数据,并支持多种数据类型。基...
工商银行实时大数据平台的实时处理平台有三个数据出口：一是通过Flink实时ETL实现实时数据入湖；二是将Flin...
工商银行历经多年的攻坚克难,建成集技术全栈覆盖、数据跨域聚合、资源弹性共享、生态开放共建于一体的大数据服务平台,突破存储和计算资源无法独立扩缩容的技术瓶颈,通过存算分离架构,实现资源的精细化管理,强化节点专用性,有效提升资源利用率。目前,...
工商银行大数据平台助力全行数字化转型之路.pptx,工商银行大数据平台;1、发展历史及总体架构 2、实时数仓 3、架构演进 4、EasyDI 5、面向不同场景的多样化数据库 6、展望;工行大数据平台发展历史;;1、发展历史及总体架构 2、实时数仓 3、架构演进 4、EasyDI 5、面向不同场景
中国工商银行大数据和人工智能实验室 / 部门经理袁一将发表题为《工商银行大数据平台助力全行数字化转型之路》主题分享,介绍实时数仓技术在工商银行的技术实践及典型案例、在运营大规模大数据集群和大数据平台在实践信创转型时的经验、在向大数据平台云原生架构演进的实践,以及数据洞察平台(EasyDI)的实施。
工商银行实时大数据平台的数据流向是应用产生的数据写入MySQL或Oracle等关系型数据库，然后将数据库产生的...
大数据技术的应用,除了平台技术本身,其实更多的还是需要业务模型,需要像工商银行这样的业务运营专家来搭建业务管理和风险控制的模型。用大数据技术实现这些模型,对接内部数据和外部第三方数据。商业银行的信用风险,很大程度上来自信息的不对称。其中主要是信息不真实、不成程度的欺诈以及信用主体的高度耦合。借助大数据技术,...
今天分享的是【工商银行大数据平台助力全行数字化转型之路】 报告出品方:袁一 随着大数据技术的不断迭代优化,过去20年间取得了许多突破性进展,包括新的计算模型、并行计算技术以及存储引擎等。这些进展极大地提升了计算能力,引发了对算力需求的显著增长,推动了工行大数据业务的创新和发展。
袁一,从 2011 年开始接触大数据相关技术,从零到一全程参与了工商银行大数据平台的建设,是工商银行大数据技术领域的先行者和技术专家,先后多次在中国信通院、华为金融峰会、Flink Forward Asia 等行业大会上就工行大数据体系的建设发表过公开演讲,发表大数据领域的专利 11 篇。