Spark集群3.1.1完全分布式搭建

在搭建Spark完全分布式集群时，需要准备以下步骤：

1. 安装Java
2. 配置SSH免密登录
3. 安装Spark
4. 配置Spark环境变量
5. 配置Spark集群
6. 启动集群

以下是对应步骤的简要指南和示例配置：

1. 安装Java：

sudo apt-update
sudo apt install openjdk-8-jdk

2. 配置SSH免密登录：

ssh-keygen
ssh-copy-id <your_username>@<slave1_hostname>
ssh-copy-id <your_username>@<slave2_hostname>
# Repeat for all slaves

3. 安装Spark：

wget https://downloads.apache.org/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz
tar xvf spark-3.1.1-bin-hadoop3.2.tgz
sudo mv spark-3.1.1-bin-hadoop3.2 /usr/local/spark

4. 配置Spark环境变量：

echo 'export SPARK_HOME=/usr/local/spark' >> ~/.bashrc
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> ~/.bashrc
source ~/.bashrc

5. 配置Spark集群，编辑$SPARK_HOME/conf/spark-env.sh：

export SPARK_MASTER_HOST=<master_hostname>
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=<number_of_cores_per_worker>
export SPARK_WORKER_MEMORY=<memory_per_worker_example_2g>
export SPARK_WORKER_INSTANCES=<number_of_worker_instances>

6. 编辑$SPARK_HOME/conf/slaves，添加所有的slave节点：

<slave1_hostname>
<slave2_hostname>
# Add all slaves

7. 初始化Spark集群：

$SPARK_HOME/sbin/start-all.sh

确保所有的防火墙规则和网络配置允许相应的端口（默认是7077）在集群的各个节点之间通信。

以上步骤提供了一个基本的Spark完全分布式集群的搭建指南。具体配置可能需要根据实际网络环境和安全策略进行调整。