Spark SQL编程初级实践

import org.apache.spark.sql.SparkSession
 
// 创建SparkSession
val spark = SparkSession.builder()
  .appName("Spark SQL Basic Example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()
 
// 引入隐式转换
import spark.implicits._
 
// 创建DataFrame
val data = Seq(
  (1, "John Doe", "M", 21),
  (2, "Jane Doe", "F", 19),
  (3, "Steve Smith", "M", 22)
)
val df = data.toDF("id", "name", "gender", "age")
 
// 创建视图
df.createOrReplaceTempView("people")
 
// 运行SQL查询
val sqlDF = spark.sql("SELECT * FROM people WHERE age >= 21")
 
// 显示查询结果
sqlDF.show()
 
// 停止SparkSession
spark.stop()

这段代码首先创建了一个SparkSession，并启动了一个简单的Spark SQL查询，查询选取了年龄大于等于21岁的所有人的信息。代码展示了如何创建DataFrame，将其转换为视图，并使用Spark SQL执行查询。最后，它停止了SparkSession。这个例子是学习Spark SQL的基础，并展示了如何在实际应用程序中使用它。