Spark 搭建模式（本地、伪分布、全分布模式）

Spark支持本地模式、伪分布模式和全分布模式。

1. 本地模式（Local mode）:

   用于在单个机器上测试和开发。

   
   
   
   val conf = new SparkConf().setMaster("local").setAppName("AppName")
   val sc = new SparkContext(conf)

2. 伪分布模式（Local[N] mode）:

   在单个机器上以类似全分布模式的方式测试和开发，其中N是你想要启动的线程数。

   
   
   
   val conf = new SparkConf().setMaster("local[4]").setAppName("AppName")
   val sc = new SparkContext(conf)

3. 全分布模式（Full distributed mode）:

   用于生产环境，需要一个集群。配置spark的各种参数，指定master为spark集群的URL。

   
   
   
   val conf = new SparkConf().setMaster("spark://210.45.240.33:7077").setAppName("AppName")
   val sc = new SparkContext(conf)

注意：在生产环境中，通常会使用Spark集群管理器（如Apache Mesos或YARN）来管理资源和调度。

伪分布和全分布模式需要你有一个正确配置的Spark集群。在这些模式下，你的应用将会运行在集群的各个节点上，并利用集群的资源。