1. Hadoop FS命令基础入门

第一次接触Hadoop FS命令时，我盯着黑底白字的终端窗口有点发懵。这玩意儿看起来像Linux命令，但操作的是分布式的HDFS文件系统。后来在实际项目中踩过几次坑才明白，掌握这些命令就像拿到了操作HDFS的瑞士军刀。

命令基本结构就像乐高积木的底座，所有复杂操作都建立在简单语法之上。执行命令的标准格式是hadoop fs -<command> [args]，比如查看根目录内容：

hadoop fs -ls /

这个命令会返回类似这样的结果：

Found 4 items drwxr-xr-x - hadoop supergroup 0 2023-07-15 10:24 /tmp drwxr-xr-x - hadoop supergroup 0 2023-07-15 10:25 /user

注意第二列的权限标识和Linux完全一致，drwxr-xr-x中的'd'表示目录，后面三组rwx分别对应所有者、所属组和其他用户的权限。

URI路径规范是新手最容易栽跟头的地方。Hadoop支持多种文件系统协议，最常见的是：

• hdfs://namenode:8020/path完整格式
• /path简写格式（使用默认配置）

我在迁移数据时就遇到过坑：当集群配置了HA高可用时，必须使用hdfs://nameservice1这样的逻辑名称，而不是具体的节点地址，否则切换主备时命令会报错。

2. 文件基础操作实战

2.1 目录管理技巧

创建目录时层级创建比想象中重要。有次凌晨处理数据时，我直接执行hadoop fs -mkdir /project/20230715/logs结果报错，因为父目录/project/20230715不存在。加上-p参数就能自动创建缺失的父目录：

hadoop fs -mkdir -p /project/20230715/logs

递归查看目录树用-R参数特别方便，比如检查刚创建的目录结构：

hadoop fs -ls -R /project

输出会显示所有子目录和文件，这在排查"文件去哪了"的问题时特别管用。

2.2 文件传输秘籍

上传下载是日常高频操作，但有些细节要注意：

• -put和-copyFromLocal效果相同，但后者严格限定源为本地文件
• 大文件上传建议先用-D dfs.blocksize=256M设置块大小

我常用这个组合命令上传日志：

hadoop fs -put /var/log/nginx/access.log /project/20230715/logs/

下载时合并小文件是个实用技巧。比如HDFS上有多个日志分片，用-getmerge合并后再分析：

hadoop fs -getmerge /project/20230715/logs/part-* ./merged.log

2.3 文件内容查看

实时监控日志可以用-tail，比下载到本地再看高效多了：

hadoop fs -tail -f /project/20230715/logs/app.log

查看压缩文件内容不需要先解压，-text命令自动识别gzip、snappy等格式：

hadoop fs -text /data/compressed/20230715.gz | head -n 10

3. 元数据与权限管理

3.1 权限控制三剑客

HDFS权限模型和Linux类似，但实际使用中有几个关键差异：

1. HDFS没有可执行文件概念，所以x权限对文件无意义
2. 目录的x权限表示"可访问"，没有它连ls都不行

批量修改权限的典型场景：开放分析目录给数据团队

hadoop fs -chmod -R 755 /project/analysis hadoop fs -chown -R analyst:bi /project/analysis

3.2 特殊权限控制

ACL细粒度控制适合多团队协作环境。比如允许测试组临时访问生产目录：

hadoop fs -setfacl -m user:testgroup:r-x /project/prod

存储配额管理能预防存储爆炸。限制团队目录不超过1TB：

hadoop fs -setQuota 1099511627776 /project/team_a

4. 空间与文件内容管理

4.1 空间分析技巧

查看目录大小时-du -h的组合最人性化：

hadoop fs -du -h /project

输出类似：

2.3 G 6.9 G /project/analysis 1.1 G 3.3 G /project/raw

找大文件的经典管道操作：

hadoop fs -du -h / | sort -hr | head -n 10

4.2 文件操作进阶

跨集群同步用distcp比简单cp更可靠：

hadoop distcp hdfs://clusterA/project hdfs://clusterB/backup

数据归档节省NameNode内存：

hadoop archive -archiveName data.har -p /project/2023 /archive

5. 高级运维技巧

5.1 回收站机制

误删恢复流程：

1. 先检查回收站位置（默认是/user/ /.Trash）
2. 用mv命令移回原位置

清空回收站要谨慎：

hadoop fs -expunge

5.2 快照管理

创建目录快照：

hadoop fs -createSnapshot /project "before_cleanup"

快照差异对比：

hadoop fs -snapshotDiff /project before_cleanup after_cleanup

5.3 安全模式处理

当看到SafeModeException时：

hadoop dfsadmin -safemode get # 查看状态 hadoop dfsadmin -safemode leave # 强制退出（谨慎使用）

6. 实战问题排查

文件丢失排查步骤：

1. 用fsck检查完整性：

hadoop fsck /project -files -blocks -locations

2. 检查DataNode日志
3. 必要时从备份恢复

性能优化常用手段：

• 调整块大小：-D dfs.blocksize=256M
• 增加副本数：hadoop fs -setrep -w 5 /hot_data
• 启用短路本地读取

我在实际运维中发现，定期执行hdfs balancer保持数据均衡，能有效提升计算性能。对于重要目录，设置-setStoragePolicy -policy ALL_SSD可以优先使用SSD存储。