Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）

由于篇幅限制，这里提供的是搭建Hadoop HA集群的核心步骤和配置要点，不包含详细的命令和步骤。

1. 准备环境：

   • 服务器：三台或以上服务器，配置一致。
   • 软件：JDK，Hadoop，Zookeeper，Hive。

2. 安装JDK和Zookeeper：

   • 在每台服务器上安装JDK和Zookeeper。

3. 配置Zookeeper集群：

   • 修改zoo.cfg，配置Zookeeper集群。

4. 配置Hadoop HA集群：

   • 修改core-site.xml，配置HDFSnamespaces和Zookeeper信息。
   • 修改hdfs-site.xml，配置HDFS的namenode和datanode的HA设置。
   • 修改mapred-site.xml，配置MapReduce在YARN上运行。
   • 修改yarn-site.xml，配置ResourceManager的HA。
   • 修改hadoop-env.sh，配置JDK路径。

5. 初始化和启动Hadoop集群：

   • 使用hdfs namenode -format格式化HDFS。
   • 使用yarn-daemon.sh start resourcemanager启动ResourceManager。
   • 使用hadoop-daemon.sh start namenode和hadoop-daemon.sh start datanode启动HDFS服务。
   • 使用yarn-daemon.sh start nodemanager启动NodeManagers。

6. 配置和启动Hive：

   • 修改hive-site.xml，配置Hive连接Hadoop的HA集群。
   • 使用schematool -initSchema -dbType <database type>初始化Hive metastore数据库。
   • 启动Hive服务。

注意：以上步骤提供了高可用性Hadoop集群和Hive的概要和关键配置要点，实际操作中需要详细的命令和步骤。