【实验1】分布式模式的CentOS 6上安装Hadoop(1个master节点,2个slave节点)
在CentOS 6上安装Hadoop的分布式模式通常涉及以下步骤:
- 系统设置:确保所有节点的网络配置正确,主机名解析,SSH免密登录。
- 安装Java。
- 下载并解压Hadoop。
- 配置Hadoop(修改
conf/hadoop-env.sh
,conf/core-site.xml
,conf/hdfs-site.xml
,conf/mapred-site.xml
,conf/slaves
)。 - 格式化HDFS。
- 启动Hadoop。
以下是一个简化的示例步骤:
系统设置
- 配置主机名:
/etc/hosts
- 设置SSH免密登录:
ssh-keygen
,ssh-copy-id
- 配置主机名:
安装Java
- 通常使用Yum安装:
yum install java-1.7.0-openjdk
- 通常使用Yum安装:
下载Hadoop
- 从Apache Hadoop官网下载适合的版本
- 使用
wget
下载到/usr/local
- 解压缩:
tar xzvf hadoop-2.x.y.tar.gz
配置Hadoop
- 编辑
conf/hadoop-env.sh
,设置JAVA_HOME
。 - 编辑
conf/core-site.xml
,配置Hadoop的核心属性。 - 编辑
conf/hdfs-site.xml
,配置HDFS属性。 - 编辑
conf/mapred-site.xml
,配置MapReduce属性。 - 编辑
conf/slaves
,列出所有从节点主机名。
- 编辑
格式化HDFS(在master节点上)
bin/hdfs namenode -format
启动Hadoop
- 在master节点上启动NameNode和SecondaryNameNode:
sbin/start-dfs.sh
,sbin/start-yarn.sh
- 在slave节点上启动DataNode:
sbin/hadoop-daemon.sh start datanode
,sbin/yarn-daemon.sh start nodemanager
- 在master节点上启动NameNode和SecondaryNameNode:
请注意,具体的配置文件内容(如core-site.xml
)需要根据您的网络环境和需求进行相应的修改。此外,CentOS 6已经过时,建议升级到CentOS 7或更高版本以获取最新的软件支持和安全更新。
评论已关闭