15 | Spark SQL 的 SQL API 操作

Spark SQL 提供了一个 SQL API，允许用户使用 SQL 语句来查询数据。以下是一个简单的例子，展示如何使用 Spark SQL 的 SQL API 来查询数据。

首先，确保你已经设置了 Spark 环境，并创建了一个 SparkSession 对象。

import org.apache.spark.sql.SparkSession
 
val spark = SparkSession.builder()
  .appName("Spark SQL Example")
  .getOrCreate()
 
import spark.implicits._

然后，我们创建一个 DataFrame，并注册为一个临时表，以便我们可以使用 SQL 查询它。

val data = Seq(
  (1, "John Doe"),
  (2, "Jane Doe")
)
 
// 创建 DataFrame
val df = data.toDF("id", "name")
 
// 注册表
df.createOrReplaceTempView("people")

现在，我们可以使用 SQL 语句查询这个表了。

// 执行 SQL 查询
val sqlDF = spark.sql("SELECT * FROM people")
 
// 显示查询结果
sqlDF.show()

以上代码首先创建了一个 DataFrame，然后将其注册为一个名为 "people" 的临时表。接着，它使用 spark.sql 方法执行了一个 SQL 查询，并将结果存储在 sqlDF 中。最后，它使用 show 方法显示了查询结果。这个过程展示了如何使用 Spark SQL 进行基本的 SQL 查询操作。