大数据进阶之路——Spark SQL小结_spark sql进阶

Spark SQL是Apache Spark用于结构化数据处理的一个模块，它提供了一个编程抽象叫做DataFrame，并且与Spark Core紧密集成，可以与Spark Core中的RDD无缝集成。

以下是Spark SQL的一些常用API和操作：

1. DataFrame：一个分布式的数据集合，可以来自各种数据源（如：结构化数据文件，Hive表，外部数据库等）。
2. DataSet：一个分布式的数据集合，是DataFrame的一个强类型版本，每一个Row被强制转换为一个特定的类型。
3. SparkSession：是一个入口点，用于获取或创建DataFrame和DataSet，并且提供了一个统一的接口来访问Spark的各种组件，比如Spark SQL和DataFrame API。
4. 使用DataFrame进行查询操作：

val spark = SparkSession.builder().appName("AppName").getOrCreate()
val df = spark.read.json("path/to/json/file")
df.show() // 展示DataFrame的内容
df.printSchema() // 打印DataFrame的结构
df.select("columnName").show() // 选择特定列
df.filter(df("columnName") > 10).show() // 过滤特定条件的行

5. 使用DataSet进行查询操作：

case class Person(name: String, age: Int)
val spark = SparkSession.builder().appName("AppName").getOrCreate()
val ds = spark.read.json("path/to/json/file").as[Person]
ds.show()
ds.filter(_.age > 10).show()

6. 注册DataFrame为全局临时视图，并进行SQL查询：

val spark = SparkSession.builder().appName("AppName").getOrCreate()
val df = spark.read.json("path/to/json/file")
df.createOrReplaceTempView("tableName")
val sqlDF = spark.sql("SELECT * FROM tableName WHERE age > 10")
sqlDF.show()

7. 使用DataFrame进行聚合操作：

val spark = SparkSession.builder().appName("AppName").getOrCreate()
val df = spark.read.json("path/to/json/file")
df.groupBy("columnName").count().show()

8. 使用DataFrame进行Window函数操作：

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._
val spark = SparkSession.builder().appName("AppName").getOrCreate()
val df = spark.read.json("path/to/json/file")
val windowSpec = Window.orderBy("columnName")
df.withColumn("running_count", count("*").over(windowSpec)).show()

9. 使用DataFrame进行UDF操作：

val spark = SparkSession.builder().appName("AppName").getOrCreate()
val df = spark.read.json("path/to/json/file")
spark.udf.register("myFunction", (x: Int) => x + 1)
df.select(callUDF("myFunction", df("columnName"))).show()

10. 使用DataFrame进行持久化操作：

val spark = SparkSession.builder().appName("AppName").getOrCreate()
val df = spark.read.json("path/to/json/file")
df.persist()

以上是Spark SQL的一些基本操作和概念，实际使用中可以根据需要进行复杂的查询和操作。