SparkSQL简单使用

import org.apache.spark.sql.SparkSession
 
// 创建SparkSession
val spark = SparkSession.builder()
  .appName("SparkSQLExample")
  .master("local[*]")
  .getOrCreate()
 
// 引入隐式转换
import spark.implicits._
 
// 创建DataFrame
val dataFrame = Seq(
  (1, "John Doe", "M", 21),
  (2, "Jane Doe", "F", 19),
  (3, "Steve Smith", "M", 22)
).toDF("id", "name", "gender", "age")
 
// 注册临时视图
dataFrame.createOrReplaceTempView("people")
 
// 执行SQL查询
val sqlDF = spark.sql("SELECT * FROM people WHERE age >= 21")
 
// 显示查询结果
sqlDF.show()
 
// 停止SparkSession
spark.stop()

这段代码首先创建了一个SparkSession，并引入了隐式转换，以便能够将RDD转换为DataFrame和将DataFrame注册为视图以便可以使用SQL查询。然后，它创建了一个DataFrame，将其注册为临时视图，执行了一个SQL查询，并显示了查询结果。最后，它停止了SparkSession。这个例子展示了如何在Spark应用程序中使用Spark SQL进行简单的数据查询。