在ubuntu上安装hadoop完分布式

在Ubuntu上安装Hadoop完全分布式集群的步骤如下：

1. 配置虚拟机：

   • 设置静态IP地址。
   • 配置主机名（通过/etc/hostname和/etc/hosts）。
   • 关闭防火墙和安全策略。
   • 配置SSH免密登录（每个节点生成密钥并配置认证）。

2. 安装Java JDK：

   
   
   
   sudo apt update
   sudo apt install openjdk-8-jdk

3. 下载并解压Hadoop：

   
   
   
   wget https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz
   sudo tar -xzf hadoop-3.2.2.tar.gz -C /usr/local
   sudo mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop
   sudo chown -R hadoop:hadoop /usr/local/hadoop

4. 配置环境变量：

   
   
   
   echo 'export HADOOP_HOME=/usr/local/hadoop' | sudo tee -a /etc/profile
   echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' | sudo tee -a /etc/profile
   source /etc/profile

5. 配置Hadoop（修改/usr/local/hadoop/etc/hadoop目录下的文件）：

   • hadoop-env.sh：设置JAVA_HOME。
   • core-site.xml：配置HDFS的NameNode。
   • hdfs-site.xml：配置DataNode存储路径和副本数量。
   • mapred-site.xml（如果存在，对于MapReduce）。
   • yarn-site.xml：配置YARN资源管理器和节点管理器。
   • workers：列出所有DataNode主机。

6. 格式化NameNode：

   
   
   
   hdfs namenode -format

7. 启动Hadoop守护进程：

   
   
   
   sudo /usr/local/hadoop/sbin/start-all.sh

8. 检查Hadoop服务：

   • 使用jps命令在各节点上检查运行的Java进程。
   • 浏览器访问NameNode和ResourceManager的Web界面，默认端口是50070和8088。

注意：确保所有节点上的配置一致，并且防火墙和安全策略允许相应的端口通信。