【Hadoop3.3.6全分布式环境搭建】

在搭建Hadoop 3.3.6的全分布式环境前，需要准备以下几个步骤：

1. 安装SSH和Java
2. 配置免密登陆
3. 配置环境变量
4. 配置Hadoop
5. 格式化HDFS
6. 启动Hadoop

以下是具体的操作步骤和配置：

1. 安装SSH和Java

# 安装SSH
sudo apt-get install openssh-server
 
# 安装Java
# 下载Java JDK (例如jdk-8u251-linux-x64.tar.gz)
# 解压到指定目录
tar -xzf jdk-8u251-linux-x64.tar.gz -C /usr/local/
 
# 配置环境变量
echo 'export JAVA_HOME=/usr/local/jdk1.8.0_251' | sudo tee -a /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' | sudo tee -a /etc/profile
 
# 更新环境变量
source /etc/profile

2. 配置免密登录

# 在每台机器上生成公钥和私钥
ssh-keygen -t rsa
 
# 将公钥复制到要免密码登录的机器上
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

3. 配置环境变量

# 配置Hadoop环境变量
echo 'export HADOOP_HOME=/path/to/hadoop-3.3.6' | sudo tee -a /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' | sudo tee -a /etc/profile
 
# 更新环境变量
source /etc/profile

4. 配置Hadoop

   编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh，设置JAVA_HOME。

   编辑$HADOOP_HOME/etc/hadoop/core-site.xml，配置Hadoop的核心配置。

   编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml，配置HDFS的配置。

   编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml，配置MapReduce的配置。

   编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml，配置YARN的配置。

   编辑$HADOOP_HOME/etc/hadoop/workers，配置所有的DataNode节点。

5. 格式化HDFS

hdfs namenode -format

6. 启动Hadoop

# 启动HDFS
start-dfs.sh
 
# 启动YARN
start-yarn.sh

确保所有的守护进程都正确启动，你可以通过jps命令检查每台机器上的Java进程。

注意：在实际部署时，需要根据具体的网络环境和安全策略调整SSH配置和防火墙规则，确保各节点间可以正常通信和访问。