Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）
warning:
这篇文章距离上次修改已过441天，其中的内容可能已经有所变动。
第三章 Spark RDD弹性分布式数据集的学习笔记和代码实践将包含以下内容：
- 引言
- RDD基本概念
- RDD创建方式
- RDD的转换与动作
- 使用Spark Shell进行交互式分析
以下是创建一个简单的Spark RDD的代码示例：
// 在Spark Shell中创建一个简单的RDD
val spark = SparkSession.builder.appName("SimpleRDD").getOrCreate()
val sc = spark.sparkContext
// 创建一个包含元素的RDD
val rdd = sc.parallelize(Seq(1, 2, 3, 4, 5))
// 打印RDD的内容
rdd.collect().foreach(println)这段代码首先创建了一个SparkSession，然后通过parallelize方法创建了一个包含一些整数的RDD。最后，使用collect动作将RDD中的所有元素收集并打印出来。这是在Spark Shell中进行简单RDD操作的一个基本例子。
评论已关闭