HDFS的文件的读写流程及常用命令

一、HDFS的读写流程

1、写入流程

先向namenode发送创建文件请求。然后本地将文件切分为固定大小 Block（默认 128M）。然后namenode向服务器写入块，每个块分副本存入，两个 Block 全部传输、3 副本同步完成后，客户端调用通知 NameNode，在元数据中补充上记录。

2、读取流程

客户端向 NameNode 发起读取文件请求，NameNode 查询元数据，然后返回块以及各自副本的节点地址，客户端就近优先选择块读取，若发生故障，则切换副本进行读取，读取块数据后，本地拼接还原文件

二、常用命令

通用执行前缀：hadoop fs -命令名 [参数]

（1、文件读写 / 内容查看类

1. 文件准备 touch作用：在 HDFS 创建空文件示例：hdfs dfs -touch /test/1.txt
2. -appendToFile作用：本地文件内容追加到 HDFS 已有文件末尾示例：hdfs dfs -appendToFile local.txt /hdfs/file.txt
3. -cat作用：输出 HDFS 文件全部内容到控制台示例：hdfs dfs -cat /aa/sh.txt
4. -head作用：查看文件前 1KB 内容示例：hdfs dfs -head /aa/sh.txt
5. -tail作用：查看文件末尾 1KB；加-f实时追踪新增日志示例：hdfs dfs -tail -f /logs/app.log
6. -text作用：以文本格式读取文件（兼容压缩包、SequenceFile）示例：hdfs dfs -text /data/file.gz

（2、文件校验 / 统计信息

1. -checksum作用：查看文件校验和，用于检测文件是否损坏示例：hdfs dfs -checksum /aa/sh.txt
2. -count作用：统计目录下【文件夹数、文件数、总字节大小】示例：hdfs dfs -count /
3. -df作用：查看 HDFS 集群整体磁盘使用情况，加-h人性化单位示例：hdfs dfs -df -h
4. -du作用：查看指定目录 / 文件占用存储大小，-h显示 MB/GB示例：hdfs dfs -du -h /aa
5. -stat作用：打印文件元数据（创建时间、权限、块大小等）示例：hdfs dfs -stat /aa/sh.txt

（3、权限 & 属主管理

1. -chgrp作用：修改文件 / 目录所属用户组示例：hdfs dfs -chgrp hadoop /aa/sh.txt
2. -chmod作用：修改读写执行权限（数字 / 符号权限）示例：hdfs dfs -chmod 755 /aa/sh.txt
3. -chown作用：修改文件属主：属组示例：hdfs dfs -chown root:root /aa/sh.txt
4. -getfacl作用：查看文件 ACL 访问控制权限（细粒度权限）
5. -getfattr作用：查看文件扩展属性信息

（4、本地 ↔ HDFS 文件传输

1. -copyFromLocal作用：本地复制文件到 HDFS，等价-put，保留本地源文件示例：hdfs dfs -copyFromLocal sh.txt /aa/
2. -copyToLocal作用：HDFS 复制文件到本地，等价-get，保留 HDFS 源文件示例：hdfs dfs -copyToLocal /aa/sh.txt ./
3. -get作用：下载 HDFS 文件到本地示例：hdfs dfs -get /aa/sh.txt ./download/
4. -moveFromLocal作用：本地剪切到 HDFS，传输后删除本地原文件
5. -moveToLocal作用：HDFS 剪切到本地，传输后删除 HDFS 原文件
6. -put作用：上传本地文件至 HDFS（最常用上传命令）示例：hdfs dfs -put sh.txt /aa/

（5、HDFS 内部复制 / 移动

1. -cp作用：HDFS 内复制文件 / 目录示例：hdfs dfs -cp /aa/sh.txt /bb/
2. -mv作用：HDFS 内移动 / 重命名文件示例：hdfs dfs -mv /old.txt /new.txt

（6、快照管理

1. -createSnapshot作用：给目录创建快照（数据备份，误删恢复）
2. -deleteSnapshot作用：删除指定目录的快照
3. -renameSnapshot作用：重命名已有快照

（7、回收站清理

1. -expunge作用：手动清空 HDFS 回收站（默认删除文件先放回收站）

（8、文件查找

1. -find作用：按名称、大小、时间检索 HDFS 文件示例：hdfs dfs -find / -name "*.txt"

（9、目录操作

1. -ls作用：列出目录内容；-R递归查看所有子目录示例：hdfs dfs -ls -R /aa
2. -mkdir作用：创建目录；-p递归创建多级目录示例：hdfs dfs -mkdir -p /a/b/c
3. -rmdir作用：删除空目录，非空目录不可用

（10、删除文件

1. -rm作用：删除文件 / 目录；-r递归删除文件夹，-skipTrash直接永久删除不进回收站示例：hdfs dfs -rm -r /output

（11、副本 / 文件块操作

1. -getmerge作用：合并 HDFS 目录下所有小文件，下载到本地一个文件示例：hdfs dfs -getmerge /logs/ all_log.txt
2. -setrep作用：修改文件副本数量示例：hdfs dfs -setrep 2 /aa/sh.txt
3. -truncate作用：截断文件至指定字节长度

（12、测试 & 工具辅助

1. -help作用：查看所有 dfs 命令帮助文档
2. -test作用：shell 脚本中判断文件是否存在、是否目录、是否为空
3. -usage作用：单独查看某一条命令的简短用法示例：hdfs dfs -usage put