RDD算子操作（基本算子和常见算子）

RDD（Resilient Distributed Dataset）是Apache Spark的基本数据结构。RDD算子是对RDD进行操作的方法。Spark提供了两种类型的操作：transformation和action。

1. 基本算子

Transformation算子是用于创建新的RDD的算子，这些算子会返回一个新的RDD，可以继续进行其他的转换。

例如：map, filter, flatMap, groupByKey, reduceByKey等。

# 创建一个SparkContext
sc = SparkContext(master='local', appName='wordCount')
 
# 创建一个RDD
rdd = sc.parallelize(['a', 'b', 'c', 'd'])
 
# 使用map算子
mappedRDD = rdd.map(lambda x: (x, 1))
print(mappedRDD.collect())  # 输出：[('a', 1), ('b', 1), ('c', 1), ('d', 1)]

2. 常见算子

Action算子是用于触发RDD的计算，并将结果返回给驱动程序的算子。

例如：reduce, collect, count, first等。

# 使用reduce算子计算RDD中所有数字的总和
rdd = sc.parallelize([1, 2, 3, 4, 5])
sum = rdd.reduce(lambda a, b: a + b)
print(sum)  # 输出：15

3. 复杂算子

复杂的算子可能涉及多个RDD，或者涉及与其他Spark组件（如广播变量、监视器等）的交互。

例如：join, saveAsTextFile, countByKey等。

# 创建两个RDD
rdd1 = sc.parallelize([('a', 1), ('b', 1)])
rdd2 = sc.parallelize([('a', 1), ('b', 2)])
 
# 使用join算子
joinedRDD = rdd1.join(rdd2)
print(joinedRDD.collect())  # 输出：[('a', (1, 1)), ('b', (1, 2))]

4. 自定义算子

除了使用Spark提供的算子外，还可以自定义算子。

# 自定义一个算子，计算RDD中的最大值
rdd = sc.parallelize([1, 2, 3, 4, 5])
 
def maxValue(iterator):
    return max(iterator)
 
maxValueRDD = rdd.mapPartitions(maxValue)
print(maxValueRDD.collect())  # 输出：[5]

以上是RDD算子操作的基本介绍和示例。在实际应用中，可以根据需要选择和组合这些算子以完成复杂的数据处理任务。