Spark内容分享：三种 Spark 部署模式介绍

Spark支持三种常见的部署模式：本地模式（Local Mode）、集群模式（Cluster Mode）和客户端模式（Client Mode）。

1. 本地模式（Local Mode）：

   本地模式通常用于开发和测试。它在单个进程中运行Spark，不需要其他服务。

val conf = new SparkConf().setMaster("local").setAppName("Local Mode App")
val sc = new SparkContext(conf)

2. 集群模式（Cluster Mode）：

   集群模式需要一个已经启动的Spark集群。作业提交给集群的主节点，然后在计算节点上执行。

val conf = new SparkConf().setMaster("spark://207.184.161.189:7077").setAppName("Cluster Mode App")
val sc = new SparkContext(conf)

3. 客户端模式（Client Mode）：

   客户端模式也是在集群上运行，但是会在提交作业的机器上开启一个客户端（driver），用于提交作业和接收运行状态。

val conf = new SparkConf().setMaster("spark://207.184.161.189:7077").setAppName("Client Mode App").set("spark.submit.deployMode", "client")
val sc = new SparkContext(conf)

以上代码中，setMaster方法设置了Spark应用程序要连接的Spark集群的URL。setAppName方法设置了应用程序的名称，用于在集群管理器界面展示。在客户端模式中，通过set方法设置了提交模式为"client"。