自定义Counter案例实现 MapReduce实现Pangrank算法。 MapReduce单元测试:Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。 某公司使用MapReduce分析日志案例(10T数据以上) 配置公平调度器案例实战 Hive Hive和Pig基础 Hive、Impala和presto的比较 Hive的作用和原理说明 Hadoop仓库和传统数据仓库的协作关系...
综上,从传统的hadoop架构往lambda架构,从lambda架构往Kappa架构的演进,大数据平台基础架构的演进逐渐囊括了应用所需的各类数据处理能力,大数据平台逐渐演化成了一个企业/组织的全量数据处理平台。当前的企业实践中,除了关系型数据库依托于各个独立的业务系统;其余的数据,几乎都被考虑纳入大数据平台来进行统一的处理。然而,...
全面而又深入的介绍Spark、Hadoop平台的构建流程,涉及Spark、Hadoop系统基础知识,概念及架构, Spark、Hadoop实战技巧,Spark、Hadoop经典案例等。主讲专家Gavin Liu 百林哲咨询(北京)有限公司专家团队成员 大数据架构师,擅长 MR 开发,基于 MR 的算法开发, Hive、 Hbase、 spark 和 Mahout 的实战和成功使用案例。 查看...