2. 设置SPARK_HOME 接下来,我们需要设置Spark的环境变量: echo'export SPARK_HOME=/opt/spark'>>~/.bashrcecho'export PATH=$PATH:$SPARK_HOME/bin'>>~/.bashrc 1. 2. 3. 生效设置 最后,确保环境变量设置生效: source~/.bashrc 1. 三、验证配置 完成上述步骤后,可以通过以下命令来验证Spark是否正常运行:...
[hadoop@master01 bin]$ spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master01:7077 ../examples/jars/spark-examples_2.11-2.1.1.jar 1spark-shell用于交互式命令(在HDFS集群上处理数据,输出结果) [hadoop@master01 software]$ spark-shell --master spark://master01:7077...
测试是否安装成功:打开cmd命令行,输入hadoop Downloads | Apache Spark 下载位置在最下面 Index of /dist/spark 环境变量: 创建SPARK_HOME:D:\soft\spark-3.2.1-bin-hadoop3.2 Path添加:%SPARK_HOME%\bin 测试是否安装成功:打开cmd命令行,输入spark-shell maven 构建工具安装(如果不用maven构建工具,不用装) 环...