RDD 原理与代码实例讲解

import org.apache.spark.{SparkConf, SparkContext}
 
object RDDExample {
  def main(args: Array[String]): Unit = {
    // 初始化 Spark 配置和上下文
    val conf = new SparkConf().setAppName("RDD Example").setMaster("local")
    val sc = new SparkContext(conf)
    
    // 创建一个初始 RDD
    val initialRDD = sc.parallelize(Seq(1, 2, 3, 4, 5))
    
    // 对 RDD 进行一系列转换操作
    val mappedRDD = initialRDD.map(_ * 2)
    val filteredRDD = mappedRDD.filter(_ > 8)
    
    // 执行一个行动操作来触发所有的转换
    val result = filteredRDD.collect()
    
    // 输出结果
    println(result) // 假设输出为 Array(9, 10)
    
    // 停止 Spark 上下文
    sc.stop()
  }
}

这段代码演示了如何在Spark中创建一个初始的RDD，对其进行转换（map和filter操作），并执行一个行动操作（collect）来触发这些转换并收集结果。这是学习Spark编程的基本例子，展示了RDD的基本用法。