在Hadoop集群的基础上搭建Spark 一、环境准备 在搭建Spark环境之前必须搭建Hadoop平台,尽管以前的一些博客上说在单机的环境下使用本地FS不用搭建Hadoop集群,可是在新版spark的安装之中,我们必须确定SPARK_DIST_CLASSPATH这个环境变量的值,而这个值恰恰就是Hadoop目录中的classpath,因为这个原因,我在搭建的过程中吃了很多...
下载hadoophttps://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz 安装hadoop:tar -zxvf hadoop-2.10.1.tar.gz -C /opt/module 配置/etc/profile,如下: #HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.10.1export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH...
在传入之前,要把hadoop,spark的“配置文件修改好”,修改的内容可以参考下文的集群信息,这里就不赘述了。在启动ssh的情况下可以使用scp,也可以在启动镜像的时候,利用数据卷传入。我是把所有的软件放到容器目录/opt/下面。 root@master:/opt# ls hadoop-2.6.0 jdk1.8.0_66 scala-2.10.4 spark-1.6.0-bin-hadoop...
::1 localhost ip6-localhost ip6-loopbackff02::1 ip6-allnodesff02::2 ip6-allrouters192.168.1.50 RaspberryPiHadoopMaster192.168.1.51 RaspberryPiHadoopSlave1192.168.1.52 RaspberryPiHadoopSlave2 如果你想让 Hadoop、YARN 和 Spark 运行正常的话,你也需要修改这些配置文件(不妨现在就编辑)。 这是hdfs-site....