使用idea开发scala代码，使用spark从postgresql读取数据并转换成新的数据存入postgresql

以下是使用IntelliJ IDEA开发Scala应用程序，从PostgreSQL读取数据并转换后存入另一个PostgreSQL数据库的示例代码：

1. 首先，确保你的项目已经添加了Spark和JDBC连接PostgreSQL的依赖。在build.sbt中添加如下依赖：

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "3.0.1",
  "org.apache.spark" %% "spark-sql" % "3.0.1",
  "org.postgresql" % "postgresql" % "42.2.18"
)

2. 接下来，使用Spark SQL读取PostgreSQL数据库中的数据，并进行转换。

import org.apache.spark.sql.{SparkSession, DataFrame}
 
object PostgresTransform {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("PostgresTransform")
      .master("local[*]")
      .getOrCreate()
 
    val pgUrl = "jdbc:postgresql://host:port/database"
    val pgTable = "source_table"
    val pgProperties = new java.util.Properties()
    pgProperties.setProperty("user", "username")
    pgProperties.setProperty("password", "password")
 
    // 读取PostgreSQL数据
    val df: DataFrame = spark.read
      .format("jdbc")
      .option("url", pgUrl)
      .option("dbtable", pgTable)
      .option("properties", pgProperties)
      .load()
 
    // 数据转换示例：这里以转换为只取某些列为例
    val transformedDf = df.select("column1", "column2")
 
    // 定义存储数据的PostgreSQL信息
    val pgUrlWrite = "jdbc:postgresql://host:port/database"
    val pgTableWrite = "target_table"
    val pgPropertiesWrite = new java.util.Properties()
    pgPropertiesWrite.setProperty("user", "username")
    pgPropertiesWrite.setProperty("password", "password")
    pgPropertiesWrite.setProperty("driver", "org.postgresql.Driver")
 
    // 将转换后的数据写入新的PostgreSQL表
    transformedDf.write
      .mode("overwrite")
      .option("url", pgUrlWrite)
      .option("dbtable", pgTableWrite)
      .option("properties", pgPropertiesWrite)
      .format("jdbc")
      .save()
 
    spark.stop()
  }
}

确保替换数据库连接信息（如host、port、database、username、password等）以连接到正确的PostgreSQL数据库。

在上述代码中，我们首先创建了一个SparkSession，然后使用Spark的JDBC支持从一个PostgreSQL表读取数据。接着，我们对数据进行简单的转换（例如选择特定的列），并将转换后的数据存储到另一个PostgreSQL表中。这里使用的是overwrite模式，这意味着目标表中的数据将被转换后的数据替换。如果你想要追加数据而不是替换，可以将模式改为append。