结合阿里整个大数据实践历程总结出的大数据方法论 大数据 阿里巴巴 作者其他创作 大纲/内容 是关于数据的数据 打通了源数据、数据仓库、数据应用,记录了数据从生产到消费的全过程 主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态以及ETL的任务运行状态 分布式计算系统存储元数据 分布式计算系统...
在阿里巴巴,一套”黄金令箭“来解决交互日志的采集问题。它是一个开放的,基于HTTP协议的日志服务,日志的采集步骤如下: Step 1:业务方,在元数据管理界面依次注册需要采集交互日志的业务、具体的业务场景以及场景下的具体交互采集点,在注册完成之后,系统将生成与之对应的交互日志采集代码模板 Step 2:业务方将交互日志采...
大数据之路:阿里巴巴大数据实践 一、总述 1.1 对大数据的理解 大、快、多样性只是表象,大数据的真正价值在于生命性和生态性。阿里巴巴称之为“活数据”。活数据是全本记录、实时驱动决策和迭代,其价值是随着使用场景和方式动态变化的。简单的把数据定义为正/负资产都太简单。数据也不是会枯竭的能源。数据可以被重复使...
第三个阶段:阿里业务和数据飞速发展,迎来了hadoop为代表的分部署存储计算的快速发展,同时阿里自主研发的分布式计算平台MaxCompute也在进行,因此开始建设自己的第三代模型架构,其选择了以Kimball的维度建模为核心理念的模型方法论,同时进行了一定的升级和扩展,构建了阿里巴巴集团的公共层模型数据架构体系。
当当网图书频道在线销售正版《大数据之路:阿里巴巴大数据实践》,作者:阿里巴巴数据技术及产品部,出版社:电子工业出版社。最新《大数据之路:阿里巴巴大数据实践》简介、书评、试读、价格、图片等相关信息,尽在DangDang.com,网购《大数据之路:阿里巴巴大数据实践》,
大数据之路:阿里巴巴大数据实践 内容简介: 在阿里巴巴集团内,数据人员面临的现实情况是:集团数据存储已经达到EB级别,部分单张表每天的数据记录数高达几千亿条;在2016年“双11购物狂欢节”的24小时中,支付金额达到了1207亿元人民币,支付峰值高达12万笔/秒,下单峰值达17.5万笔/秒,媒体直播大屏处理的总数据量高达百亿级别...
这两天又翻出了《大数据之路:阿里巴巴大数据实践》,重新读了数据建模那部分的内容,依旧感觉受益良多,遂整理了笔记分享给大家。 数据建模 数据建模在这本书占据了三分之一篇幅,可见其重要性! 9.1 典型的数据仓库建模方法论 9.1.1 ER模型 传统关系型数据库的ER模型是基于具体业务实体的,而大数据领域的ER模型是建立于...
2. 常常数据上游执行变更了，数据下游却未收到变更通知。3. 数据平台相关信息的查询主要是通过人问人...
[连载]《大数据之路:阿里巴巴大数据实践》之日志采集 作者简介 阿里巴巴数据技术及产品部。定位于阿里集团数据中台,为阿里生态内外的业务、用户、中小企业提供全链路、全渠道的数据服务。作为阿里大数据战略的核心践行者,致力于“让大数据赋能商业,创造价值”。现在,阿里巴巴数据技术及产品部正通过技术和产品上的创新,探索...