大数据 - Spark系列《十》- rdd缓存详解

在Spark中，RDD的缓存是通过调用cache()方法或者persist(level: StorageLevel)方法来实现的。cache()方法是persist(StorageLevel.MEMORY_ONLY)的简写，表示将RDD以序列化的形式存储在JVM堆内存中。

persist()方法允许你指定存储级别，可以是以下几种：

• MEMORY_ONLY：仅在内存中存储。
• MEMORY_AND_DISK：内存中存储不下时存到磁盘。
• DISK_ONLY：仅在磁盘中存储。
• MEMORY_ONLY_SER：以序列化的形式仅在内存中存储。
• MEMORY_AND_DISK_SER：以序列化的形式内存存储不下时存到磁盘。

存储级别可以组合使用，例如MEMORY_AND_DISK和MEMORY_AND_DISK_SER。

以下是一个使用persist()方法的例子：

val conf = new SparkConf().setAppName("Persist Example").setMaster("local")
val sc = new SparkContext(conf)
 
val dataRDD = sc.parallelize(Seq(1, 2, 3, 4, 5))
val cachedRDD = dataRDD.persist(StorageLevel.MEMORY_AND_DISK_SER)
 
cachedRDD.collect().foreach(println)
 
sc.stop()

在这个例子中，dataRDD被转换成缓存的cachedRDD，并且指定了使用序列化的方式存储在内存和磁盘中。然后，通过collect方法将结果收集回驱动器程序并打印。