hadoop分布式环境搭建

在搭建Hadoop分布式环境时，以下是基本步骤和示例配置：

1. 准备机器：至少三台机器（也可以用虚拟机），一台作为NameNode，另外两台作为DataNode。
2. 安装Java环境：确保所有机器上安装了相同版本的Java。
3. 配置SSH免密登录：在NameNode机器上生成密钥，并将公钥复制到所有DataNode机器上。

4. 配置Hadoop：

   • 修改core-site.xml，设置HDFS的路径和临时文件路径。
   • 修改hdfs-site.xml，设置副本数量。
   • 修改mapred-site.xml（如果存在这个文件），设置MapReduce的路径和任务执行框架。
   • 修改yarn-site.xml，设置资源管理器和应用程序管理器。
   • 配置slaves文件，列出所有DataNode的主机名或IP地址。
5. 格式化NameNode：使用hdfs namenode -format命令格式化HDFS。
6. 启动Hadoop：使用start-dfs.sh和start-yarn.sh命令启动所有服务。

示例配置文件（位于$HADOOP\_HOME/etc/hadoop/）：

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

mapred-site.xml（如果存在）:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>namenode</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

slaves:

datanode1
datanode2

确保替换以上配置中的namenode, datanode1, datanode2为你的实际主机名或IP地址。

以上步骤和配置文件示例为基本的Hadoop分布式环境搭建指南，具体配置可能会根据你的网络环境、硬件资源和安全需求有所不同。