适用模块

降低物理存储，对不重要的目录降低hdfs存储副本数。

具体说明

如下

使用示例

注：

1.降低副本数据安全性受影响，请自行评估，数据安全重要等级。

2.目前hdfs默认策略不能指定某个目录自动更新副本，例如设置某个目录副本为2后，新写入的目录自动降副本。需要手动set指定目录的副本数，例如某个产出逻辑下加一个脚本节点调度。手动每天设置最新目录副本为2。

操作方式： 使用猛犸script节点，自行上传脚本运行调度

脚本：

#!/bin/bash
echo $HADOOP_HOME
$HADOOP_HOME/bin/hdfs dfs -setrep -R 2 xxxx

附：script脚本连接hdfs https://study.sf.163.com/documents/read/service_support/dsc-p-a-0107

副本数查询方式： meta_worker_hdfs_meta表每天同步metaworker采集的数据，可自行根据集群目录过滤自己需要查看的信息，例如副本数。 可联系猛犸值班（grp.mammut@corp.netease.com），开通该项目该表的权限。然后脚本设置后查询该集群该目录的文件是否已经副本设置为2，也可以捞出自己集群自己项目下所有副本2，副本3的数据。自己项目进行治理

作者：刘思伟