基于CentOS虚拟机的Spark分布式开发环境搭建

以下是一个基于CentOS的Spark开发环境搭建的简化版本，包括了安装Java和Scala，以及配置Spark。

# 更新系统
sudo yum update -y
 
# 安装Java
sudo yum install java-1.8.0-openjdk-devel -y
 
# 验证Java安装
java -version
 
# 下载Scala
wget https://downloads.lightbend.com/scala/2.12.15/scala-2.12.15.tgz
 
# 解压Scala
tar -xvf scala-2.12.15.tgz
 
# 移动Scala到合适的位置
sudo mv scala-2.12.15 /usr/local/scala
 
# 配置环境变量
echo 'export SCALA_HOME=/usr/local/scala' >> ~/.bashrc
echo 'export PATH=$PATH:$SCALA_HOME/bin' >> ~/.bashrc
 
# 应用环境变量更改
source ~/.bashrc
 
# 验证Scala安装
scala -version
 
# 下载Spark
wget https://downloads.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz
 
# 解压Spark
tar -xvf spark-3.2.1-bin-hadoop3.2.tgz
 
# 移动Spark到合适的位置
sudo mv spark-3.2.1-bin-hadoop3.2 /usr/local/spark
 
# 配置环境变量
echo 'export SPARK_HOME=/usr/local/spark' >> ~/.bashrc
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> ~/.bashrc
 
# 应用环境变量更改
source ~/.bashrc
 
# 验证Spark安装
spark-shell

以上脚本提供了从基本系统更新到安装Java、Scala和Spark的全过程，并配置了环境变量，使得可以在命令行中运行Spark。在运行这些命令之前，请确保你的CentOS虚拟机可以连接到互联网，以便下载所需的文件。