SparkSQL初体验

import org.apache.spark.sql.SparkSession
 
// 创建SparkSession
val spark = SparkSession.builder()
  .appName("SparkSQL初体验")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()
 
// 引入隐式转换
import spark.implicits._
 
// 创建DataFrame
val dataFrame = Seq(
  (1, "张三", "北京"),
  (2, "李四", "上海"),
  (3, "王五", "广州")
).toDF("id", "name", "city")
 
// 注册临时视图
dataFrame.createOrReplaceTempView("people")
 
// 执行SQL查询
val sqlDF = spark.sql("SELECT * FROM people")
 
// 显示查询结果
sqlDF.show()
 
// 停止SparkSession
spark.stop()

这段代码首先创建了一个SparkSession，并启动了一个简单的交互式Spark SQL会话。它创建了一个DataFrame，将其注册为一个临时视图，并执行了一个SQL查询。最后，它显示了查询结果并清理了SparkSession。这个过程是学习Spark SQL的一个很好的起点。