Hadoop3分布式基本部署

一、背景与问题

Hadoop3 是 Apache Hadoop 项目的重要迭代版本，相较于 Hadoop2 在架构、性能、可用性等方面进行了重大改进。其核心目标是构建一个可靠的、可扩展的分布式计算框架，支持海量数据的存储和处理。

Hadoop3 的典型应用场景包括：

• 日志分析系统
• 数据仓库构建
• 机器学习数据处理
• 高吞吐量批处理任务

但 Hadoop3 也有其局限性，例如：

• 不适合实时计算
• 无法处理小文件
• 需要较高硬件配置
• 配置复杂度较高

在部署过程中，开发者常遇到以下问题：

1. 配置文件错误导致集群无法启动
2. 节点通信异常导致任务失败
3. 性能瓶颈导致处理效率低下
4. 安全机制缺失导致数据泄露风险

二、基本原理

Hadoop3 的核心架构由以下几个核心组件构成：

1. HDFS（Hadoop Distributed File System）

   • 分布式文件系统
   • 支持多副本存储（默认3副本）
   • 数据块大小可配置（默认128M/256M）
   • 采用主从架构（NameNode/SecondaryNameNode/DataNode）

2. YARN（Yet Another Resource Negotiator）

   • 资源管理框架
   • 支持多租户计算
   • 包含ResourceManager（全局资源协调）和NodeManager（节点资源管理）

3. MapReduce

   • 分布式计算框架
   • 基于"分而治之"思想
   • 分为Map阶段和Reduce阶段

关键工作流程：

1. 客户端提交作业
2. ResourceManager 分配资源
3. NodeManager 启动容器
4. TaskTracker 执行任务
5. 结果返回客户端

三、环境准备

3.1 系统要求

推荐使用 CentOS 7+ 系统，最低配置要求：

• 4核CPU
• 8GB内存
• 50GB可用磁盘空间
• 100MB/s 网络带宽

3.2 软件准备

3.3 网络配置

需确保：

1. 所有节点之间可通过主机名相互访问
2. 端口开放（8020, 9000, 8032, 8033等）
3. 防火墙关闭或开放对应端口

四、核心实现

4.1 配置核心文件

4.1.1 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

关键点解释：

• fs.defaultFS 指定默认文件系统
• io.file.buffer.size 设置IO缓冲区大小，影响吞吐量

4.1.2 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.block.size</name>
    <value>134217728</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/nn</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/dn</value>
  </property>
</configuration>

关键点解释：

• dfs.replication 设置副本数（集群规模决定）
• dfs.block.size 设置数据块大小（通常128M或256M）
• dfs.namenode.name.dir 指定NameNode元数据存储位置
• dfs.datanode.data.dir 指定DataNode数据存储位置

4.1.3 mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
  </property>
</configuration>

关键点解释：

• 设置为local表示本地模式（开发测试用）
• 生产环境应设置为yarn

4.1.4 yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>rm1:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>rm1:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>rm1:8088</value>
  </property>
  <property>
    <name>yarn.node-manager.address</name>
    <value>nm1:8032</value>
  </property>
</configuration>

关键点解释：

• 定义ResourceManager和NodeManager的通信端口
• 需要根据实际节点名称调整

4.2 集群部署

4.2.1 单机模式（开发测试）

# 下载Hadoop
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

# 解压
tar -zxvf hadoop-3.3.0.tar.gz

# 设置环境变量
export HADOOP_HOME=/opt/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin

4.2.2 分布式模式（生产环境）

# 配置hosts文件
echo "127.0.0.1 master" >> /etc/hosts
echo "192.168.1.100 slave1" >> /etc/hosts
echo "192.168.1.101 slave2" >> /etc/hosts

# 配置SSH免密码登录
ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

五、完整案例

5.1 部署多节点集群

5.1.1 节点规划

5.1.2 配置文件调整

<!-- core-site.xml -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

<!-- hdfs-site.xml -->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<!-- yarn-site.xml -->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>

5.1.3 启动集群

# 格式化HDFS
hdfs namenode -format

# 启动HDFS
start-dfs.sh

# 启动YARN
start-yarn.sh

# 启动历史服务器
mr-jobhistory.sh --bindAddress master --host master

5.1.4 验证集群状态

# 查看HDFS状态
hdfs dfsadmin -report

# 查看YARN状态
yarn node -list

# 查看Web UI
http://master:8088

六、源码解析

6.1 HDFS NameNode启动流程

public static void main(String[] args) {
  Configuration conf = new Configuration();
  try {
    // 加载配置文件
    conf.addResource("core-site.xml");
    conf.addResource("hdfs-site.xml");
    
    // 初始化NameNode
    NameNode nn = new NameNode(conf);
    
    // 启动服务
    nn.start();
    
    // 等待关闭
    nn.join();
  } catch (Exception e) {
    e.printStackTrace();
  }
}

关键点：

• NameNode负责管理元数据
• 启动时会加载配置文件
• 需要确保磁盘空间充足

6.2 YARN ResourceManager启动流程

public static void main(String[] args) {
  Configuration conf = new Configuration();
  conf.addResource("yarn-site.xml");
  conf.addResource("mapred-site.xml");
  
  try {
    // 初始化ResourceManager
    ResourceManager rm = new ResourceManager(conf);
    
    // 启动服务
    rm.start();
    
    // 等待关闭
    rm.join();
  } catch (Exception e) {
    e.printStackTrace();
  }
}

关键点：

• ResourceManager负责资源调度
• 需要确保网络端口开放
• 支持多种调度器（Fair Scheduler, Capacity Scheduler）

七、进阶使用

7.1 高可用部署

<!-- hdfs-site.xml -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>slave1:8020</value>
</property>

关键点：

• 需要配置Zookeeper
• 支持故障转移
• 增加系统复杂性

7.2 配置安全机制

<!-- core-site.xml -->
<property>
  <name>dfs.permissions.enabled</name>
  <value>true</value>
</property>

# 创建安全组
hadoop fs -mkdir /secure
hadoop fs -chmod 770 /secure
hadoop fs -chown hadoop:hadoop /secure

关键点：

• 需要配置Kerberos
• 增加访问控制
• 提高系统安全性

八、性能与工程实践

8.1 性能优化策略

8.2 异常处理

try {
  // 执行任务
  Job job = Job.getInstance(conf, "wordcount");
  job.setJarByClass(WordCount.class);
  job.setMapperClass(TokenizerMapper.class);
  job.setReducerClass(IntSumReducer.class);
  job.setOutputKeyClass(Text.class);
  job.setOutputValueClass(IntWritable.class);
  job.setNumReduceTasks(1);
  job.submit();
} catch (Exception e) {
  // 异常处理
  System.err.println("Job failed: " + e.getMessage());
  e.printStackTrace();
}

关键点：

• 需要捕获所有异常
• 记录详细日志
• 提供恢复机制

8.3 安全加固

<!-- core-site.xml -->
<property>
  <name>dfs.web.auth.token.service</name>
  <value>mycluster</value>
</property>

# 配置Kerberos
kinit -kt /etc/security/keytab/hadoop.keytab hadoop@REALM

关键点：

• 需要配置KDC服务器
• 定期更新密钥
• 限制访问权限

九、常见问题与踩坑

9.1 常见错误

9.2 常见坑

1. 配置文件错误：常见于core-site.xml和hdfs-site.xml配置错误
2. 端口冲突：如8020端口被占用导致NameNode无法启动
3. 数据本地性问题：DataNode节点与计算节点不匹配导致性能下降
4. 磁盘空间不足：日志文件过大导致无法写入数据

9.3 性能瓶颈

常见瓶颈：

• 网络带宽不足（建议1Gbps以上）
• 磁盘I/O性能不足（建议使用SSD）
• 内存不足（建议每个节点至少16GB）
• CPU性能不足（建议4核以上）

十、最佳实践

10.1 部署建议

• 单机开发：使用本地模式
• 生产环境：至少3个节点（1个NameNode+2个DataNode）
• 高可用集群：配置多NameNode+Zookeeper
• 安全生产环境：启用Kerberos认证

10.2 配置建议

• 数据块大小：256M（适合大部分场景）
• 副本数：3（默认值，可按需求调整）
• IO缓冲区：128K-256K（根据测试调整）
• 网络带宽：1Gbps以上（推荐10Gbps）

10.3 运维建议

• 定期检查磁盘空间
• 监控集群资源使用情况
• 保持软件版本同步
• 建立备份机制

十一、总结

Hadoop3 分布式部署是一个复杂但值得投入的工程。通过合理配置和优化，可以构建一个高效的分布式计算平台。需要注意的是：

1. 适用场景：适合处理大规模数据的批处理任务
2. 性能瓶颈：需要合理配置硬件和网络
3. 安全风险：需启用安全机制保护数据
4. 运维成本：需要专业的运维团队支持

在实际项目中，应根据具体需求选择合适的部署方案。对于需要实时计算的场景，建议采用 Spark 或 Flink 等更合适的工具。Hadoop3 的核心价值在于其分布式计算能力，正确理解和应用其原理，才能充分发挥其性能优势。