如何备份与恢复HDFS数据

HDFS数据备份方法

谈到HDFS的数据保护，备份是个绕不开的话题。不同场景下，方法选择差异很大——有的图快，有的图省，有的则必须做到万无一失。下面这几种方案，基本覆盖了绝大多数需求。

先说快照。快照本质上是文件系统在某个时刻的“冻结影像”，它不复制数据块本身，所以成本极低，恢复速度也快得惊人。对于需要频繁做快速回滚的场景，快照是首选。操作上分几步：先允许目录支持快照（hdfs dfsadmin -allowSnapshot /path/to/dir），然后创建快照（hdfs dfs -createSnapshot /path/to/dir snapshotName）。查看已有快照用hdfs dfsadmin -listSnapshots /path/to/dir。恢复时更直接——从快照目录把内容拷出来就行：hdfs dfs -cp /path/to/dir/.snapshot/snapshotName/ /path/to/restore。

数据块复制则是HDFS的默认机制。每个数据块默认存三份副本，分布在不同的DataNode上。副本数可以通过dfs.replication调整，比如手动改成2：hdfs dfsadmin -setReplication /path/to/file 2。一旦某个节点挂掉，系统会自动从其他副本节点复制数据补位。这种方式的优势在于简单可靠，但存储开销也比较大。

纠删码则是一个更经济的选择。它用编码代替纯复制，在保持相同容错能力的前提下，存储开销能降低50%左右。以RS-3-2编码为例，容错能力和3副本一样，但只消耗原来一半的磁盘空间。特别适合存储资源有限且数据量庞大的集群。配置方案也很清晰：先创建策略（hdfs ec -createPolicy -policyName RS-3-2 -schema "3,2"），再应用到目标目录（hdfs ec -setPolicy -path /path/to/dir -policyName RS-3-2）。

DistCp是Hadoop自带的分布式复制工具，适合跨集群的全量或增量备份。它的底层基于MapReduce，所以有很好的容错性，失败的任务能自动重试。基本用法很直接：hadoop distcp source_path destination_path。增量备份则通过-update或-diff选项实现，前者更新已变化的文件，后者基于时间戳差异。

此外，还有不少第三方工具可以选。比如Apache NiFi，支持实时和批量数据流管理；Cloudera Manager，对CDH集群用户来说几乎开箱即用；MinIO作为S3兼容的对象存储，也能把HDFS数据备份到远端。这些工具在功能灵活性上更胜一筹，尤其适合多云或跨地域备份的场景。

当然，最简单的办法还是手动备份。直接用hdfs dfs -cp把数据拷到本地文件系统，或者用hdfs dfs -tar打包成tar文件，再归档到磁带或云存储。虽然操作不够自动化，但对小规模数据的应急备份完全够用。

HDFS数据恢复方法

数据丢了怎么找回来？这得看当初怎么丢的、有没有提前做防护。

快照恢复是最直接的办法——前提是你提前创建了快照。先确认快照存在（hdfs dfsadmin -listSnapshots /path/to/dir），然后用hdfs dfs -cp命令把快照内容复制到目标路径，就能回到快照创建时的状态。

回收站机制是HDFS自带的“后悔药”。只要fs.trash.interval设置成非0值（比如120分钟），被删除的文件不会立刻消失，而是暂时存放在/user/username/.Trash/Current目录下。恢复命令也很简单：hdfs dfs -cp /user/username/.Trash/Current/deleted_file /path/to/original/dir。注意时效，过期就真没了。

数据冗余恢复则是HDFS的自动行为。当某个DataNode掉线导致数据块丢失时，系统会从其他副本节点复制数据到新节点。管理员可以通过hdfs dfsadmin -report查看集群健康状态，或者用hdfs fsck / -files -blocks -locations检查数据块分布是否正常。

如果有其他集群或远程路径的备份文件，DistCp恢复是最合适的方案。只需指定备份源路径和目标路径：hadoop distcp hdfs://backup-namenode:9000/backup_dir hdfs://namenode:9000/recovered_dir。过程全自动，出错会重试，放心用。

NameNode元数据恢复则属于“救火级”操作。名节点挂了，整个集群就废了，必须从Secondary NameNode或备份中恢复元数据。流程：先停掉NameNode服务（stop-dfs.sh），然后把Secondary NameNode的数据目录复制到NameNode的数据目录，再重启服务（start-dfs.sh）。前提是Secondary NameNode的数据是最新的。

如果上述所有方法都走不通，那就只能走手动恢复的路子了——从本地备份、生产数据库或其他数据源重新生成丢失的数据，再上传到HDFS。比如：hdfs dfs -put /local/recovered_file /path/to/hdfs/dir。虽然笨了点，但总比没数据强。