RDD入门——RDD 代码
import org.apache.spark.{SparkConf, SparkContext}
// 初始化Spark配置和上下文
val conf = new SparkConf().setAppName("RDD入门")
val sc = new SparkContext(conf)
// 创建一个初始RDD
val rdd = sc.parallelize(Seq(1, 2, 3, 4, 5))
// 对RDD应用一些转换操作
val mappedRDD = rdd.map(_ * 2)
val filteredRDD = mappedRDD.filter(_ > 8)
// 收集结果并打印
val result = filteredRDD.collect()
println(result.mkString(", "))
// 停止Spark上下文
sc.stop()这段代码展示了如何在Scala中使用Spark的RDD API进行基本的转换操作。首先，我们创建了一个Spark配置对象并初始化了一个Spark上下文。接着，我们创建了一个包含数字1到5的初始RDD，对它应用了map（增加元素）和filter（过滤元素）操作，最后收集结果并打印。最后，我们停止了Spark上下文。这是学习RDD编程的一个基本例子。
评论已关闭