使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。 目前,有关hive3.1.2编译的帖子相对较少,少...
在使用hive3.1.2和spark3.1.2配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.1.2不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.1.2对应的hadoop版本是hadoop3.2.0。 所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.1.2。 1. 环境准备 这里在Mac编译,电脑环境需要Java、Ma...
Hadoop 1.x.y, 2.x.y hive版本 1.0.0支持hadoop版本 Hadoop 1.x.y, 2.x.y hive版本0.13.1支持hadoop版本 Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y hive版本0.13.0支持hadoop版本 Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y hive版本0.12.0支持hadoop版本 Hadoop 0.20.x, 0.23.x.y, 1....
https://github.com/apache/spark/blob/master/pom.xml 这时候我们可以查看里面的兼容信息spark的版本为2.3.0-SNAPSHOT 接着我们找到<properties>里面有各种所需软件的信息,比如 jdk1.8,hadoop位2.6.5,2.7.1,2.7.3。 flume版本为flume1.6.0, zookeeper版本为3.4.6 hive为:1.2.1 scala为:2.11.8 这样我们在安...
将原来的配置文件复制到新的hadoop集群中,这样就可以了 目前测试hadoop3.3.2+hive3.1.3+hbase2.5.5+zookeeper3.7.1没有问题,值得注意的是zookeeper3.7.1和spark3.3.2不兼容,这使得spark3.3.2无法搭建高可用集群 说实话,大数据生态圈的兼容性真的需要加强,还是建议不要使用新版本,不然就会被不适配问题折磨 ...
github.com/apache/spark.git 然后打开pom.xml即可 https://github.com/apache/spark/blob/master/pom.xml 这时候我们可以查看里面的兼容信息spark的版本为2.3.0-SNAPSHOT 接着我们找到里面有各种所需软件的信息,比如 jdk1.8,hadoop位2.6.5,2.7.1,2.7.3。
简介: spark 3.1.x支持(兼容)hive 1.2.x以及hadoop cdh版本的尝试 版本 spark 3.1.x hive 1.2.x hadoop 2.6.0-cdh-5.13.1 背景 由于好多公司的yarn集群用的是cdh版本的,用Cloudera Manager管理的。而截止到目前为止,spark的最新版本已经到了3.1.1。而对于cdh 2.6.0-5.13.1来说目前支持的hive版本为1.2.1,...
hadoop 2.6.0-cdh-5.13.1 背景 由于好多公司的yarn集群用的是cdh版本的,用Cloudera Manager管理的。而截止到目前为止,spark的最新版本已经到了3.1.1。而对于cdh 2.6.0-5.13.1来说目前支持的hive版本为1.2.1,所以我们做一下集中尝试: 直接修改pom文件中的hive对应的版本 ...
2.hive是否与所有hadoop兼容? 3.hadoop2.7.1 hbase1.2.x hive1.2.0是否兼容? 打算做一个比较新的版本兼容,版本的兼容是一个问题。那么如何来看是否兼容。 最简单的办法: hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 那么我们该如何查看hadoop、hbase、hive他们之间的兼容关系 这时候,我们就要去官网了...