HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)
# 配置环境变量
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
# 使用HDFS命令行工具进行基本操作
# 创建目录
hdfs dfs -mkdir /user/hadoop/dir1
# 创建文件
echo "Hello, HDFS!" | hdfs dfs -put - /user/hadoop/dir1/file1.txt
# 查看目录内容
hdfs dfs -ls /user/hadoop/dir1
# 查看文件内容
hdfs dfs -cat /user/hadoop/dir1/file1.txt
# 从本地文件系统上传文件到HDFS
hdfs dfs -put /path/to/local/file.txt /user/hadoop/dir1
# 从HDFS拷贝文件到本地文件系统
hdfs dfs -get /user/hadoop/dir1/file1.txt /path/to/local/file.txt
# 追加内容到已存在的HDFS文件
echo "Another line" | hdfs dfs -appendToFile - /user/hadoop/dir1/file1.txt
以上是一些基本的HDFS操作示例,包括创建目录、创建文件、查看文件和目录、上传、下载文件以及追加内容到文件。这些操作都是通过Hadoop提供的命令行工具hdfs dfs
来完成的。
评论已关闭