Spark内容分享:三种 Spark 部署模式介绍
Spark支持三种常见的部署模式:本地模式(Local Mode)、集群模式(Cluster Mode)和客户端模式(Client Mode)。
本地模式(Local Mode):
本地模式通常用于开发和测试。它在单个进程中运行Spark,不需要其他服务。
val conf = new SparkConf().setMaster("local").setAppName("Local Mode App")
val sc = new SparkContext(conf)
集群模式(Cluster Mode):
集群模式需要一个已经启动的Spark集群。作业提交给集群的主节点,然后在计算节点上执行。
val conf = new SparkConf().setMaster("spark://207.184.161.189:7077").setAppName("Cluster Mode App")
val sc = new SparkContext(conf)
客户端模式(Client Mode):
客户端模式也是在集群上运行,但是会在提交作业的机器上开启一个客户端(driver),用于提交作业和接收运行状态。
val conf = new SparkConf().setMaster("spark://207.184.161.189:7077").setAppName("Client Mode App").set("spark.submit.deployMode", "client")
val sc = new SparkContext(conf)
以上代码中,setMaster
方法设置了Spark应用程序要连接的Spark集群的URL。setAppName
方法设置了应用程序的名称,用于在集群管理器界面展示。在客户端模式中,通过set
方法设置了提交模式为"client"。
评论已关闭