INFO-Hive任务如何降低hdfs副本数
更新时间: 2024-03-11 02:49:52
阅读 1658
适用模块
hive任务需要将例如每天产生分区的hdfs文件副本数调整下降
具体说明
此处可以考虑两种方法。第一种可以考虑使用脚本直接对指定的目录进行降副本操作。并也可以设置调度或者依赖任务,第二种方法可以直接在hive sql中设置代码。
使用示例
1.在脚本节点中,执行dfs -setrep 2 /目录 可以设置成每天调度,依赖hive产出的分区。然后直接执行。
2.可直接在hive sql 节点中设置 set dfs.replication=2
3.或者可以联系运维底层调整。这几种均可。
作者:刘思伟
文档反馈
以上内容对您是否有帮助?