SparkSQL简单使用

import org.apache.spark.sql.SparkSession
 
// 创建SparkSession
val spark = SparkSession.builder()
  .appName("SparkSQLExample")
  .master("local[*]")
  .getOrCreate()
 
// 引入隐式转换
import spark.implicits._
 
// 创建DataFrame
val dataFrame = Seq(
  (1, "John Doe", "M", 21),
  (2, "Jane Doe", "F", 19),
  (3, "Steve Smith", "M", 22)
).toDF("id", "name", "gender", "age")
 
// 创建视图
dataFrame.createOrReplaceTempView("people")
 
// 执行SQL查询
val sqlDF = spark.sql("SELECT * FROM people WHERE age >= 21")
 
// 显示查询结果
sqlDF.show()
 
// 停止SparkSession
spark.stop()

这段代码首先创建了一个SparkSession，并通过toDF方法将Scala集合转换为DataFrame，然后通过createOrReplaceTempView方法创建了一个临时视图，之后可以使用spark.sql执行SQL查询。最后，使用show方法显示查询结果，并在完成操作后停止SparkSession。这个例子展示了如何在Spark中使用SparkSQL进行简单的数据查询。