spark sql 与scala混合开发实现数据入mongodb
以下是一个使用Spark SQL和Scala进行数据入MongoDB的简单示例代码:
import org.apache.spark.sql.SparkSession
import com.mongodb.spark.sql.MongoDbSpark
object DataToMongoDB {
def main(args: Array[String]): Unit = {
// 初始化Spark会话
val spark = SparkSession.builder()
.appName("Data to MongoDB")
.config("spark.mongodb.output.uri", "mongodb://localhost:27017/database.collection")
.getOrCreate()
// 创建DataFrame(例如从文件读取数据)
val df = spark.read.json("path/to/your/data.json")
// 将DataFrame保存到MongoDB
MongoDbSpark.save(df)
// 停止Spark会话
spark.stop()
}
}
确保你的Spark集群配置了MongoDB连接器,并且在你的项目依赖中包含了相应的库。以上代码假设你的数据源是一个JSON文件,并且MongoDB运行在本地机器上的默认端口27017。需要替换"path/to/your/data.json"
和"mongodb://localhost:27017/database.collection"
为你的实际数据源路径和目标数据库信息。
评论已关闭