hadoop3分布式基本部署_hadoop3 双namenode 部署，2024年最新啃下这些Framework技术笔记

在Hadoop 3中，双 Namenode 的部署通常涉及使用 Active/Passive 或 Active/Active 配置。以下是一个简化的步骤和配置示例：

1. 确保你有两台机器，用于部署两个 Namenode。
2. 配置 hdfs-site.xml 文件，设置 Namenode 的 ID 和 QJM 的位置。

hdfs-site.xml (两个 Namenode 的配置片段):

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>nn1-host:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>nn2-host:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>nn1-host:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>nn2-host:9870</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://jn-host1:8485;jn-host2:8485;jn-host3:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/path/to/journal/node/local/data</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 其他配置... -->
</configuration>

3. 启动所有的 JournalNode 守护进程。
4. 格式化第一个 Namenode 并启动。
5. 在第二个 Namenode 上，不需要格式化，只需同步第一个 Namenode 的元数据，并启动。
6. 配置自动故障转移控制器，如使用ZooKeeper。

以上步骤和配置是一个基本的指南。根据你的具体需求和环境，可能需要做出调整。确保所有的配置文件路径、主机名和端口号都是正确的。

注意：在实际部署时，你还需要考虑数据的本地性和备份策略，确保集群的安全性和可用性。