Java开发经验 Java 分布式系统开发经验 大数据处理经验 后端工程师 Spring 一、资深研发工程师_集团数据平台 工作职责 1. 负责集团数据管理和数据安全等平台产品研发; 2. 研发高可靠、高可扩展、易用的集团数据平台,包括异构多源数据治理、大规模工作流调度等核心功能与工具链; ...
5. 数据服务:将加工、融合后的数据表快速生成数据API、加速数据流动,对外部数据应用提供数据支持。• 数据集成:支持多种数据仓库引擎配置,包括oracle、mysql、sqlserver、hbase、es、hive等数十种,同时支持在线数据源连接配置,可以同时配置多种数据源连接。支持数据表采集、Excel文件数据采集、自定义SQL数据集采集...
1、面向互联网金融风控及用户增长业务,打造领先的数据中台和数据资产托管平台(离线300PB,在线300TB,QPS并发500W/秒),通过在线数据分析、离线数据挖掘、实时数据特征、离线数据仓库等方式管理用户数据,建设覆盖互联网金融全场景的数据智能解决方案; 2、负责机器学习平台、模型推理平台,用户画像平台、知识图谱平台和分布式计...
这就是中台的关键——让前台开发团队的开发速度不受后台数据开发的影响。 史凯总结说,“数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念”。 如下图所示: DDataAPI是数据中台的核心,它是连接前台和后台的桥梁,通过 API 的方式提供数据服务,而不是直接把数据库给前台、让前台开...
通过CDC、批量导入、API集成等方式把数据汇聚到中台。 在中台里面进行资料的建模和分类,比如按照客户、账户、交易等纬度。 然后以API方式交付到他们的各个业务中心。 最后做成各种业务开发,如金融商城,手机App,社交系统等。 在这里插入图片描述 在没有数据中台的时候。实现这些前端场景需要各个业务中心找每一个需要用到...
基于数栖平台搭建实时数仓,首先把各种数据源的数据实时同步到Kafka中,然后基于Flink引擎在实时开发平台上构建实时数仓,实时计算结果可写入Hbase/ES等,最后提供API供应用端调用。 关联产品 实时开发 服务开发 客户案例 建业集团 建业数据中台项目 立即咨询 背景说明 国家数字经济蓬勃发展,建业集团全面加快数字化建设...
数据中台开发工程师 java后台开发工程师 暂无数据 岗位职责: 1、负责平台后端服务的设计、研发、系统维护工作: 2、通过弹性设计、高可用架构等方式不断迭代优化提升系统的稳定性及性能 任职要求: 1、本科及以上学历,3-10年相关开发经验; 2、熟练掌握Java,具有良好的Java 10、多线程、网络等方面的编程能力;熟悉Spring...
数据中台涉及到企业的核心数据,如果安全措施不到位,将带来严重的数据泄露风险。因此,在数据中台开发过程中,我们需要加强安全防护措施,包括数据加密、权限控制等,确保数据的安全性和隐私性。缺乏统一规划 数据中台是一个长期、持续的建设过程,需要统一规划、分阶段实施。如果缺乏统一规划,将导致资源浪费、项目重复等...
第5章 数据开发:数据价值提炼工厂 本章介绍数据中台建设的第二步:数据开发,是数据价值生产过程中的核心环节,将原始数据资源转化为数据资产,为前端业务源源不断地提供其所需的数据服务。本章从数据计算能力的主要类型、离线开发、实时开发和算法开发三个方面展开,详细介绍数据开发相关的产品功能及关键技术。
数据中台的基本能力 数据中台具有数据服务的能力。数据中台帮助业务部门建立工作台,通过工作台可以快速获取到数据相关服务,包括数据提取、数据分析、数据推送、数据回流等服务;数据中台可以将脏乱差的数据进行加工、治理、切分、建模、打标签等。 数据中台可以使业务人员具备数据应用开发的能力。业务人员可以根据自己业务单元...