适用模块

    hive任务需要将例如每天产生分区的hdfs文件副本数调整下降

    具体说明

    此处可以考虑两种方法。第一种可以考虑使用脚本直接对指定的目录进行降副本操作。并也可以设置调度或者依赖任务,第二种方法可以直接在hive sql中设置代码。

    使用示例

    1.在脚本节点中,执行dfs -setrep 2 /目录 可以设置成每天调度,依赖hive产出的分区。然后直接执行。 2.可直接在hive sql 节点中设置 set dfs.replication=2
    3.或者可以联系运维底层调整。这几种均可。

    作者:刘思伟