新建project,选择scala项目,选择sbt构建方式,选择scala2.11.8版本(如果没有,可在project settings里点击"+",选择scala sdk,可在线下载2.11.8版本),保持与spark内部使用的scala版本一致,如截图四 F12打开open library setting配置界面,在libraries节点处,添加spark的jars,以及iobjects for spark的jar包,应用即可。 创建...
测试是否安装成功:打开cmd命令行,输入hadoop Downloads | Apache Spark 下载位置在最下面 Index of /dist/spark 环境变量: 创建SPARK_HOME:D:\soft\spark-3.2.1-bin-hadoop3.2 Path添加:%SPARK_HOME%\bin 测试是否安装成功:打开cmd命令行,输入spark-shell maven 构建工具安装(如果不用maven构建工具,不用装) 环...
[hadoop@master01 bin]$ spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master01:7077 ../examples/jars/spark-examples_2.11-2.1.1.jar 1spark-shell用于交互式命令(在HDFS集群上处理数据,输出结果) [hadoop@master01 software]$ spark-shell --master spark://master01:7077...