回到SparkDeploySchedulerBackend的start方法,里面定义了appDesc,传入的Command指定了具体的为当前应用程序启动的Executor进程的入口类的名称为CoarseGrainedExecutorBackend,args参数也封装了driverUrl信息,然后将appDesc作为AppClient的参数,创建AppClient对象并调用AppClient对象的start方法。 在AppClient.scala中: def start() ...
importorg.apache.spark.launcher.SparkAppHandle;importorg.apache.spark.launcher.SparkLauncher;publicclassSparkLauncherExample{publicstaticvoidmain(String[]args)throwsException{SparkAppHandlehandle=newSparkLauncher().setAppName("MySparkApp").setMainClass("com.example.MySparkApp").setMaster("local").setConf...
Web UI : 可以在web页面看到Spark集群的信息; Spark context ..sc:可以理解为sc是Spark Core的程序入口; Spark session ..spark:可以理解为spark是Spark SQL程序的入口。 之后会用到,到时候再详细解释~~~ 再起一个窗口,执行jps可以看到启动了SparkSubmit进程,这样就算是启动成功了~~ 3)运行WordCount程序 sc.text...
在spark-operator.yaml文件种有一个gcr.io/spark-operator/spark-operator:v1beta2-1.2.0-3.0.0的镜像,这个就是google开发的spark-operator插件,这个镜像在国内是无法拉取到的,但是我的网络是可以访问google的所以直接拉取到了,拉取之后将它制作成本地镜像,上传到本地的harbor,并且修改spark-operator.yaml种的镜像...