Hadoop3.3.4分布式安装

Hadoop 3.3.4 的分布式安装步骤如下：

1. 准备环境

   • 确保所有节点的主机名、IP配置正确。
   • 关闭防火墙和SELinux。
   • 配置免密登录。
   • 同步时间。

2. 安装Java

   • 确保Java版本至少为1.8。

3. 配置Hadoop

   • 解压Hadoop压缩包。
   • 设置环境变量HADOOP_HOME和更新PATH。
   • 配置hadoop-env.sh，设置JAVA_HOME。
   • 编辑core-site.xml，配置HDFS的namenode。
   • 编辑hdfs-site.xml，配置数据节点和副本数量。
   • 编辑mapred-site.xml，配置MapReduce。
   • 编辑yarn-site.xml，配置资源管理器和节点管理器。
   • 配置slaves，添加数据节点主机名。

4. 格式化NameNode

   • 使用hdfs namenode -format命令格式化。

5. 启动Hadoop

   • 使用start-all.sh启动所有Hadoop服务。

6. 检查状态

   • 使用jps命令检查各节点上的Java进程。
   • 通过Web界面检查，例如NameNode (50070)，ResourceManager (8088)。

以下是一个简化的示例，展示如何配置core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
</configuration>

确保替换mycluster为你的HDFS集群名称。其他配置文件也应相应修改。