01-Spark的Local模式与应用开发入门

import org.apache.spark.{SparkConf, SparkContext}
 
object LocalSparkApp {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("LocalSparkApp") // 设置应用名称
      .setMaster("local") // 设置运行模式为本地模式
 
    // 创建Spark上下文对象
    val sc = new SparkContext(conf)
 
    // 使用Spark进行操作
    val numbers = sc.parallelize(1 to 10)
    val counts = numbers.map(_ * 2).collect() // 将每个数乘以2并收集结果
 
    // 打印结果
    counts.foreach(println)
 
    // 停止Spark上下文
    sc.stop()
  }
}

这段代码演示了如何在本地模式下使用Apache Spark进行数据处理。首先，我们创建了一个SparkConf对象并设置了应用名称和运行模式为本地模式。接着，我们创建了一个SparkContext对象，用于初始化Spark。然后，我们并行化了一个数字集合，并对每个数字进行了乘以2的操作，最后收集结果并打印。最后，我们停止了Spark上下文。这是学习Spark编程的基本例子。