SparkSQL学习03-数据读取与存储

import org.apache.spark.sql.SparkSession
 
// 创建SparkSession
val spark = SparkSession.builder()
  .appName("Spark SQL Data Sources")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()
 
// 引入隐式转换
import spark.implicits._
 
// 创建DataFrame
val dataFrame = Seq(
  (1, "John Doe", "M", 21),
  (2, "Jane Doe", "F", 19)
).toDF("id", "name", "gender", "age")
 
// 展示DataFrame内容
dataFrame.show()
 
// 将DataFrame注册为临时表
dataFrame.createOrReplaceTempView("people")
 
// 执行SQL查询
val sqlDF = spark.sql("SELECT * FROM people WHERE age >= 21")
sqlDF.show()
 
// 保存DataFrame到文件系统
dataFrame.write.format("csv").option("header", "true").save("data_csv")
 
// 读取文件系统中的数据创建DataFrame
val readDF = spark.read.format("csv").option("header", "true").load("data_csv")
readDF.show()
 
// 停止SparkSession
spark.stop()

这段代码首先创建了一个SparkSession，并引入了隐式转换，以便能够将RDD转换为DataFrame和DataSet。然后，它创建了一个包含两个记录的DataFrame，并展示了其内容。接着，它将DataFrame注册为临时表，并执行了一个SQL查询，然后将结果保存到文件系统中，并从文件系统读取数据重新创建了一个DataFrame。最后，它停止了SparkSession。这个过程展示了如何在Spark SQL中进行数据的读取、处理和保存。