conf.setAppName("WCSpark") //设置Spark的运行模式 local本地运行 用于测试环境 conf.setMaster("local") //创建Spark上下文 他是通往集群的唯一通道 val sc = new SparkContext(conf) /** * 处理数据 在SparkCore中一切得计算都是基于RDD * R(Resilient)D(Distributed )D(Dataset) * RDD 弹性分布式数据...
第1关:Transformation – map # -*- coding: UTF-8 -*- from pyspark import SparkContext if __name__ == "__main__": #*** Begin ***# # 1.初始化 SparkContext,该对象是 Spark 程序的入口 sc = SparkContext("local", "Simple App") # 2.创建一个1到5的列表List data = [1, 2, 3,...
import org.apache.spark.{SparkConf, SparkContext} object Spark01_RDD_reduce { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val sc = new SparkContext(sparkConf) val rdd = sc.makeRDD(List(1, 2, 3, 4)) /...