Spark学习:spark读写postgreSql

要在Spark中读写PostgreSQL，你需要使用Spark SQL的JDBC连接器。以下是一个简单的例子，展示如何使用Spark读取和写入PostgreSQL数据库。

首先，确保你的Spark应用程序包含了PostgreSQL的JDBC驱动。如果你使用的是sbt，可以添加以下依赖：

libraryDependencies += "org.postgresql" % "postgresql" % "42.5.0"

然后，你可以使用以下代码片段来读取和写入PostgreSQL：

import org.apache.spark.sql.{DataFrame, SparkSession}
 
val spark = SparkSession.builder()
  .appName("Spark PostgreSQL Example")
  .getOrCreate()
 
val jdbcUrl = "jdbc:postgresql://hostname:port/database"
val connectionProperties = new java.util.Properties()
connectionProperties.put("user", "username")
connectionProperties.put("password", "password")
connectionProperties.put("driver", "org.postgresql.Driver")
 
// 读取数据
val df: DataFrame = spark.read.jdbc(jdbcUrl, "table_name", connectionProperties)
 
// 显示读取的数据
df.show()
 
// 写入数据到PostgreSQL
val dataToWrite: DataFrame = // ... 创建或获取DataFrame
dataToWrite.write.mode("append").jdbc(jdbcUrl, "table_name", connectionProperties)

确保替换hostname:port/database, username, password, table_name以及dataToWrite为你的实际数据库信息和数据。这段代码展示了如何从PostgreSQL读取数据到Spark DataFrame，以及如何将DataFrame中的数据写入到PostgreSQL的表中。