【Spark精讲】Spark五种JOIN策略

在Spark中，有五种JOIN策略，分别是Broadcast Hash Join、Shuffle Hash Join、Shuffle Sort Merge Join、Broadcast Nested Loop Join和Cartesian Join。

1. Broadcast Hash Join：

   这种JOIN策略适用于一个较小的表，被广播到所有节点上，然后使用广播过来的数据进行HASH JOIN操作。

val spark = SparkSession.builder.getOrCreate()
val df1 = spark.read.json("path_to_file1")
val df2 = spark.read.json("path_to_file2")
df1.join(broadcast(df2), "joinKey")

2. Shuffle Hash Join：

   这种JOIN策略适用于两个表，分别在各自的分区上通过HASH函数进行HASH JOIN操作。

val df1 = spark.read.json("path_to_file1")
val df2 = spark.read.json("path_to_file2")
df1.join(df2, "joinKey")

3. Shuffle Sort Merge Join：

   这种JOIN策略适用于两个表，先在各自的分区上进行排序，然后在对应的分区进行合并JOIN操作。

val df1 = spark.read.json("path_to_file1")
val df2 = spark.read.json("path_to_file2")
df1.join(df2, "joinKey")

4. Broadcast Nested Loop Join：

   这种JOIN策略适用于一个较小的表，被广播到所有节点上，然后使用广播过来的数据进行NESTED LOOP操作。

val df1 = spark.read.json("path_to_file1")
val df2 = spark.read.json("path_to_file2")
df1.join(broadcast(df2), "joinKey")

5. Cartesian Join：

   这种JOIN策略适用于没有JOIN条件的情况，即笛卡尔积。

val df1 = spark.read.json("path_to_file1")
val df2 = spark.read.json("path_to_file2")
df1.crossJoin(df2)

以上代码均为伪代码，仅用于展示不同JOIN策略的使用方式。在实际应用中，需要根据数据量、分布情况和业务需求选择合适的JOIN策略。