docker配置全分布式hadoop（5台容器两台主节点，三台从节点）

配置全分布式Hadoop使用Docker容器的步骤概要如下：

1. 准备Dockerfile来构建Hadoop镜像。
2. 创建一个Hadoop配置文件，用于设置Hadoop集群参数。
3. 使用docker-compose来启动所有容器并配置网络。

以下是一个简化的示例：

Dockerfile:

FROM openjdk:8-jdk
 
# 安装Hadoop
RUN apt-get update && apt-get install -y tar \
 && curl -fSL https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz | tar -xz -C /opt \
 && ln -s /opt/hadoop-3.2.2 /opt/hadoop \
 && rm -rf /opt/hadoop-3.2.2/lib/log4j-slf4j-impl-*.jar \
 && curl -fSL https://www.apache.org/dist/hadoop/hdfs-hadoop-hdfs/keytabs/HDFS_DELEGATION_KEY.tar.gz | tar -xz \
 && mv HDFS_DELEGATION_KEY.headless /opt/hadoop/etc/hadoop/dn_delegation_key.keystore \
 && mv HDFS_DELEGATION_KEY.login /opt/hadoop/etc/hadoop/dn_delegation_token.keytab
 
# 设置环境变量
ENV HADOOP_HOME /opt/hadoop
ENV PATH $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
# 复制Hadoop配置文件
COPY hadoop-config/* $HADOOP_HOME/etc/hadoop/

hadoop-config/ 目录下的配置文件可能包括：

• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml
• slaves

docker-compose.yml:

version: '3'
 
services:
  namenode:
    image: hadoop-image
    ports:
      - "50070:50070"
    command: hdfs --daemon start namenode
 
  datanode:
    image: hadoop-image
    depends_on:
      - namenode
    command: hdfs --daemon start datanode
 
  secondarynamenode:
    image: hadoop-image
    depends_on:
      - namenode
    command: hdfs --daemon start secondarynamenode
 
  resourcemanager:
    image: hadoop-image
    depends_on:
      - namenode
    ports:
      - "8088:8088"
    command: yarn --daemon start resourcemanager
 
  nodemanager:
    image: hadoop-image
    depends_on:
      - datanode
      - resourcemanager
    command: yarn --daemon start nodemanager
 
networks:
  default:
    driver: bridge

确保你有5个运行Docker的机器，每个机器上都安装Docker和docker-compose。在每台机器上克隆你的Hadoop配置和Dockerfile，然后构建镜像并运行docker-compose up。

注意：这个示例假设你有5个可用的Docker容器环境。在实际部署中，你可能需要调整网络设置，并确保所有容器都能够通信。