为了满足数据时效,以及企业级大规模普惠用数的诉求,企业内部的大数据平台需要不仅支持批量计算,还需要满足各类用数场景全栈覆盖的技术体系。以工行为例,大数据平台内部除批量计算之外,包含实时计算,联机分析、数据 API 等平台,主要以 Flink 作为内部引擎,用于缩短数据端到端闭环时间,形成联机高并发的访问能力,提升数据赋...
工行数据中台体系下的大数据平台是以数据共享、资源统筹、软件服务化的云理念打造的具备海量数据存储、批量计算、流计算等能力的企业级大数据云基础设施,融合了关系型、非关系型数据处理技术,为应用系统提供开箱即用的大数据服务。率先在金融同业中全面实现国产化的大数据平台建设,容量大、算力强、功能完备、算法齐全的特点...
工行大数据平台为支撑数据中台体系,平台从用数领域、垂直领域、通用领域和大数据基础服务领域等多个维度,构建了完善的技术体系,全方位满足上层便捷用法的需求。 用数领域:打造快捷用数技术平台,赋能大数据研发和业务用数分析场景。包括大数据工作站、即时BI平台。大数据工作站提供全面的研发与测试服务,提升大数据研发人员工作...
4.“智慧银行数字工行”阶段 2018年,工商银行加快推进大数据平台升级换代,并于2019年在同业中率先实现数据仓库产品安全可控,基本建成以数据湖、数据仓库和集团信息库(以下简称“一湖两库”)为核心的大数据服务云体系,完成了大数据平台从1.0到...
为统一数据用户入口,形成有序建设、协同共享的服务生态与数据文化,工商银行自主研发了一站式数据研发门户——“大数据工作站”(如图1所示),通过提供统一的数据研发资产、丰富的数据研发服务以及全面标准化数据研发流程,形成端到端全流程研发闭环能力,涵盖从“数据理解”“数据准备”“数据开发”“数据测试”的数据研发全...
目前,工商银行大数据技术平台存储规模可达EB级,汇集贴源数据、主题聚合、知识图谱、客户标签、知识条目、指标等数据资产,打破数据孤岛,确保了工商银行大数据技术对业务场景的有力支撑。 3.高效共享的数据计算能力 为实现快速数据创新,解决跨集群异...
工商银行申请大数据专利，有助于提高大数据系统性能指标预测的准确性 金融界2024年1月12日消息，据国家知识产权局公告，中国工商银行股份有限公司申请一项名为“大数据系统性能指标预测方法及装置“，公开号CN117390393A，申请日期为2023年10月。专利摘要显示，本发明实施例公开了一种大数据系统性能指标预测方法及装置，可...
工商银行取得大数据资源动态调度专利，最大化地利用大数据集群资源，使更多作业可以按时完成 金融界2024年3月28日消息，据国家知识产权局公告，中国工商银行股份有限公司取得一项名为“一种大数据资源动态调度方法、装置和设备“，授权公告号CN113391911B，申请日期为2021年7月。专利摘要显示，本说明书实施例提供了一种...
工商银行大数据应用展望 工商银行董事长姜建清曾指出:“未来,优秀的银行首先应该是数据银行,更是数据分析、数据解读的优秀银行,要从数据中获得洞察力,攫取价值,赢得明天。” 未来,工商银行将持续完善数据仓库、集团信息库,纳入更多的行内外数据,不断加强对结构化、非结构化数据深层次、多维度分析,将数据作为判断市场、...
一、工行实时大数据平台建设历程 工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加,开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台,在其之上构建了企业级数据湖及数据仓库。2017 年,随着 AI 技术的兴起,又开始建设机器学习...