hadoop3分布式基本部署

在进行Hadoop 3分布式基础部署时，以下是一个简化的步骤和示例配置：

1. 准备服务器：确保你有3台服务器或者虚拟机用于部署Hadoop集群。
2. 安装Java：确保每个节点都安装了Java环境。
3. 配置SSH免密登录：在NameNode节点上生成SSH密钥，将公钥复制到所有节点的~/.ssh/authorized_keys文件中，以便可以无密码SSH登录所有节点。
4. 配置主机名：为每个节点设置主机名，编辑/etc/hostname文件。
5. 配置/etc/hosts：在每个节点上配置主机名到IP地址的解析。
6. 下载并解压Hadoop：从官网下载Hadoop 3的压缩包，解压到所有节点相同的目录。
7. 配置Hadoop环境变量：设置JAVA_HOME和HADOOP_HOME环境变量，并将$HADOOP_HOME/bin加入到PATH环境变量中。

8. 配置Hadoop集群：编辑$HADOOP_HOME/etc/hadoop目录下的配置文件。

   • hadoop-env.sh：设置JAVA_HOME。
   • core-site.xml：配置Hadoop的基础设置。
   • hdfs-site.xml：配置HDFS的设置，比如复制因子等。
   • mapred-site.xml（如果存在这个文件）：配置MapReduce的设置。
   • yarn-site.xml：配置YARN的设置。
   • workers（如果使用的是Hadoop 2.x）：列出所有DataNode节点。
9. 格式化NameNode：在NameNode节点上运行hdfs namenode -format。
10. 启动集群：启动HDFS和YARN使用start-dfs.sh和start-yarn.sh。

以下是一个示例的core-site.xml配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

示例的hdfs-site.xml配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>nn-host:50090</value>
    </property>
</configuration>

示例的yarn-site.xml配置：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>rm-host</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

注意：这些配置仅为示例，根据你的服务器配置、网络环境和需求，你可能需要调整这些配置。在实际部署时，你还需要确保所有节点的防火墙都已关闭或正确配置以允许所