HDFS注意事项
更新时间: 2023-02-03 18:40:59
阅读 99
HDFS注意事项
部署注意事项
HDFS client不支持不同版本的扩容
zkfc必须与namenode部署在相同节点
HDFS client支持hdfs指令,切换到hdfs用户下可以直接执行hdfs命令
配置注意事项
以下配置建议根据机器情况进行手动修改:
dfs.datanode.du.reserved (datanode的磁盘预留空间,默认350G)
HADOOP_NAMENODE_OPTS (默认内存大小为8G)
HADOOP_JOURNALNODE_OPTS (默认内存大小为1G)
HADOOP_ZKFC_OPTS (默认内存大小为1G)
HADOOP_DATANODE_OPTS (默认内存大小为4G)
dfs.datanode.data.dir (datanode使用的磁盘目录,默认使用所有数据盘,并且会拼接uuid,为了后续扩盘考虑,建议自定义)
dn的rack信息在扩容或者安装后需要修改,要通过以下方式生效:修改rack并同步配置到该dn节点>同步配置并重启nn节点
变更注意事项
为保证变更期间的服务可用性,需要按照以下顺序进行变更
变更standby namenode所在节点的zkfc服务
变更standy namenode 服务
变更active namenode所在节点的zkfc服务
变更active namenode服务
滚动变更journalnode节点
滚动变更datanode节点
滚动变更 client节点
文档反馈
以上内容对您是否有帮助?