[root@localhost ~]# docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 (3)拉取hadoop-namenode镜像 [root@localhost ~]# docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 (4)拉取hadoop-datanode镜像 [root@localhost ~]# docker pull bde2020/hadoop-datanode:2.0.0-hadoop3.2....
mkdir /home/hadoop/hadoop-2.7.3/tmp 用来存放临时文件 mkdir /home/hadoop/hadoop-2.7.3/logs 用来存放日志文件 mkdir /home/hadoop/hadoop-2.7.3/hdfs 用来存储集群数据 mkdir /home/hadoop/hadoop-2.7.3/hdfs/name 用来存储文件系统元数据 mkdir /home/hadoop/hadoop-2.7.3/hdfs/data 用来存储真正的数据 6...
在hadoop01节点格式化NameNode,并将格式化后的目录复制到hadoop02中,具体命令如下: hadoop namenode -format scp -r /export/data/hadoop hadoop02:/export/data 1. 2. 3. 在hadoop01节点上格式化ZKFC,命令如下:(为了连接上zookeeper集群,然后在zookeeper集群上面创建一个znode节点: /hadooop-ha/ns1,所以在哪里格式...
(1)、将hive-env.sh.template文件复制为hive-env.sh, 编辑hive-env.sh文件,配置如下: cp hive-env.sh.template hive-env.sh (2)、将hive-default.xml.template文件拷贝为hive-site.xml, 并编辑hive-site.xml文件(删除所有内容,只留一个<configuration></configuration>) cp hive-default.xml.template hive-...
centos7搭建集群环境流程: 源文件准备: javaJdk-1.8+ hadoop-2.6.1 spark-2.3.3 scala-2.11.8 hive-1.2.2 yum源安装mysql 不同的版本可能会有配置细节不同,具体的不同可网上搜索资料。 1.vmware安装 没什么好说的,直接安装就成。 2.centos7安装 ...
本次搭建所使用的版本是2.1.0 参考链接:http://dblab.xmu.edu.cn/blog/1086-2/ spark的搭建步骤: 采用源码编译得到支持hive的spark版本 进入下载目录,执行命令tar -zxvf spark-2.1.0.tar.gz解压spark的包 进入spark的根目录,执行命令 ./dev/make-distribution.sh --name 2.7.3 --tgz -Pyarn -Phadoop-2....
hadoop集群HA环境搭建 准备工具 VMware12安装包, 破解序列号:5A02H-AU243-TZJ49-GTC7K-3C61N ubuntu 14.04 安装包 (如果采用克隆或者直接复制的虚拟机,VMware需要重新生成一个mac地址) hadoop-2.7.1 zookeeper-3.4.8 7台虚拟机 虚拟机需要全部关闭防火墙,完全分布式模式也要将所有机器的防火墙关闭!否则zookeeper集群...
下面开始搭建分布式spark,这里使用的是spark的3.3.0版本 spark官网下载软件包#把spark包上传到机器上,然后到该包的目录,这里统一以spark-3.3.0-bin-hadoop3.tgz这个包为演示 root@ master# tar xf spark-3.3.0-bin-hadoop3.tgz root@ master# mv spark-3.3.0-bin-hadoop3 /opt/spark root@ master# vim ...
一. Spark shell配置 Spark shell默认就是可以访问的 spark-shell spark.sql("select count(*) from test.t2").show() image.png 二. Hive on Spark配置 2.1 问题描述 sethive.execution.engine=mr;selectcount(*)fromtest.t2;sethive.execution.engine=spark;selectcount(*)fromtest.t2; ...
hadoop namenode -format 3.6 启动 hdfs 和 yarn 启动hdfs start-dfs.sh 启动hdfs 后会有三个相关进程, NameNode、 SecondaryNamenode、 Datanode。 使用ps -ef | grep hadoop 查看是否有,有表示启动成功。 如上图,启动成功。 启动yarn 的相关进程 start-yarn.sh yarn 启动后, 正常会有 ResourceManager 和Node...