PySpark学习

在PySpark中，我们可以使用pyspark.sql.SparkSession来创建一个Spark会话，并进行各种操作。以下是一些基本操作的示例代码：

from pyspark.sql import SparkSession
 
# 创建一个Spark会话
spark = SparkSession.builder \
    .appName("PySparkExample") \
    .getOrCreate()
 
# 读取数据文件
data_path = "path/to/your/data.csv"
df = spark.read.csv(data_path, header=True)
 
# 展示DataFrame的内容
df.show()
 
# 查询DataFrame的某列
print(df.select("column_name").first())
 
# 统计DataFrame中的行数
print("行数:", df.count())
 
# 创建一个DataFrame
from pyspark.sql import Row
data = [Row(name="Alice", age=25), Row(name="Bob", age=30)]
schema_df = spark.createDataFrame(data)
schema_df.show()
 
# 停止Spark会话
spark.stop()

这段代码展示了如何在PySpark中创建一个Spark会话，读取CSV文件，查看数据，选择特定列，统计行数，创建DataFrame，以及停止Spark会话。这些操作是学习PySpark的基础，也是日常工作中常用的功能。