Hadoop3.1.4分布式搭建

在搭建Hadoop 3.1.4的分布式环境时，需要遵循以下步骤：

1. 准备环境：确保所有节点上安装了Java环境，并配置好SSH免密登录。

2. 配置集群：

   • 配置core-site.xml
   • 配置hdfs-site.xml
   • 配置mapred-site.xml (如果使用MapReduce)
   • 配置yarn-site.xml
   • 配置workers文件（包含所有DataNode节点）
3. 分发配置到所有节点。
4. 格式化NameNode：hdfs namenode -format

5. 启动HDFS和YARN：

   • 启动NameNode：hadoop-daemon.sh start namenode
   • 启动DataNode：hadoop-daemon.sh start datanode
   • 启动SecondaryNameNode：hadoop-daemon.sh start secondarynamenode
   • 启动ResourceManager：yarn-daemon.sh start resourcemanager
   • 启动NodeManager：yarn-daemon.sh start nodemanager

以下是一个基本的配置示例：

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>mycluster-nn-secondary:50090</value>
    </property>
</configuration>

mapred-site.xml (如果使用MapReduce):

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

workers:

mycluster-datanode1
mycluster-datanode2
mycluster-datanode3

确保替换上述配置中的mycluster, mycluster-nn-secondary, mycluster-datanode1, mycluster-datanode2, mycluster-datanode3为实际的集群名称和节点名称。

这些是基本的配置，具体配置可能需要根据实际网络环境、安全设置和性能要求进行调整。