在搭建Hadoop 3.3.6的全分布式环境前,需要准备以下几个步骤:
- 安装SSH和Java
- 配置免密登陆
- 配置环境变量
- 配置Hadoop
- 格式化HDFS
- 启动Hadoop
以下是具体的操作步骤和配置:
- 安装SSH和Java
# 安装SSH
sudo apt-get install openssh-server
# 安装Java
# 下载Java JDK (例如jdk-8u251-linux-x64.tar.gz)
# 解压到指定目录
tar -xzf jdk-8u251-linux-x64.tar.gz -C /usr/local/
# 配置环境变量
echo 'export JAVA_HOME=/usr/local/jdk1.8.0_251' | sudo tee -a /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' | sudo tee -a /etc/profile
# 更新环境变量
source /etc/profile
- 配置免密登录
# 在每台机器上生成公钥和私钥
ssh-keygen -t rsa
# 将公钥复制到要免密码登录的机器上
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3
- 配置环境变量
# 配置Hadoop环境变量
echo 'export HADOOP_HOME=/path/to/hadoop-3.3.6' | sudo tee -a /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' | sudo tee -a /etc/profile
# 更新环境变量
source /etc/profile
配置Hadoop
编辑
$HADOOP_HOME/etc/hadoop/hadoop-env.sh
,设置JAVA_HOME
。编辑
$HADOOP_HOME/etc/hadoop/core-site.xml
,配置Hadoop的核心配置。编辑
$HADOOP_HOME/etc/hadoop/hdfs-site.xml
,配置HDFS的配置。编辑
$HADOOP_HOME/etc/hadoop/mapred-site.xml
,配置MapReduce的配置。编辑
$HADOOP_HOME/etc/hadoop/yarn-site.xml
,配置YARN的配置。编辑
$HADOOP_HOME/etc/hadoop/workers
,配置所有的DataNode节点。- 格式化HDFS
hdfs namenode -format
- 启动Hadoop
# 启动HDFS
start-dfs.sh
# 启动YARN
start-yarn.sh
确保所有的守护进程都正确启动,你可以通过jps命令检查每台机器上的Java进程。
注意:在实际部署时,需要根据具体的网络环境和安全策略调整SSH配置和防火墙规则,确保各节点间可以正常通信和访问。