spark sql 与scala混合开发实现数据入mongodb
    		       		warning:
    		            这篇文章距离上次修改已过421天,其中的内容可能已经有所变动。
    		        
        		                
                以下是一个使用Spark SQL和Scala进行数据入MongoDB的简单示例代码:
import org.apache.spark.sql.SparkSession
import com.mongodb.spark.sql.MongoDbSpark
 
object DataToMongoDB {
  def main(args: Array[String]): Unit = {
    // 初始化Spark会话
    val spark = SparkSession.builder()
      .appName("Data to MongoDB")
      .config("spark.mongodb.output.uri", "mongodb://localhost:27017/database.collection")
      .getOrCreate()
 
    // 创建DataFrame(例如从文件读取数据)
    val df = spark.read.json("path/to/your/data.json")
 
    // 将DataFrame保存到MongoDB
    MongoDbSpark.save(df)
 
    // 停止Spark会话
    spark.stop()
  }
}确保你的Spark集群配置了MongoDB连接器,并且在你的项目依赖中包含了相应的库。以上代码假设你的数据源是一个JSON文件,并且MongoDB运行在本地机器上的默认端口27017。需要替换"path/to/your/data.json"和"mongodb://localhost:27017/database.collection"为你的实际数据源路径和目标数据库信息。
评论已关闭