Linux-一篇文章，速通Hadoop集群之伪分布式，完全分布式，高可用搭建（附zookeeper，jdk介绍与安装）。

在Linux环境下搭建Hadoop集群，包括伪分布式、完全分布式和高可用性设置，通常涉及以下步骤：

1. 安装Java环境
2. 配置SSH免密登录
3. 下载并解压Hadoop
4. 配置Hadoop环境变量
5. 配置Hadoop的core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml等配置文件
6. 格式化HDFS（仅首次运行时需要）
7. 启动/停止Hadoop服务

以下是伪分布式和完全分布式的配置示例：

伪分布式配置（单节点）：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
# 配置core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
 
# 格式化HDFS
hdfs namenode -format
 
# 启动所有Hadoop守护进程
start-all.sh

完全分布式配置：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
# 配置core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
</configuration>
 
# 配置hdfs-site.xml
<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>nn1.example.com:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>nn2.example.com:8020</value>
    </property>
    <!-- 更多配置 -->
</configuration>
 
# 配置mapred-site.xml (如果使用MapReduce)
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
 
# 配置yarn-site.xml
<configuration>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>rm1.example.com</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>rm2.example.com</value>
    </property>
    <!-- 更多配置 -->
</configuration>
 
# 格式化HDFS（仅首次运行