spark.yarn.am.cores:Application Master 使用的核心数。 部署相关参数: spark.yarn.jars:指定 Spark 应用所需的 jars 路径。 spark.yarn.archive:用来指定包含所有依赖的 zip 或 tar 文件。 spark.yarn.dist.files:需要传输到 YARN 集群的文件列表。 动态资源分配参数(如果启用): spark.dynamicAllocation.enabled:...
defrunApp(): ApplicationId ={//校验参数,内存不能小于384Mb,Executor的数量不能少于1个。 validateArgs()//这两个是父类的方法,初始化并且启动Client init(yarnConf) start()//记录集群的信息(e.g, NodeManagers的数量,队列的信息). logClusterResourceDetails()// 准备提交请求到ResourcManager (specifically ...
1 git clone https://github.com/aliyun/MaxCompute-Spark.git