HDFS注意事项

部署注意事项

HDFS client不支持不同版本的扩容

zkfc必须与namenode部署在相同节点

HDFS client支持hdfs指令,切换到hdfs用户下可以直接执行hdfs命令

配置注意事项

以下配置建议根据机器情况进行手动修改:

dfs.datanode.du.reserved (datanode的磁盘预留空间,默认350G)

HADOOP_NAMENODE_OPTS (默认内存大小为8G)

HADOOP_JOURNALNODE_OPTS (默认内存大小为1G)

HADOOP_ZKFC_OPTS (默认内存大小为1G)

HADOOP_DATANODE_OPTS (默认内存大小为4G)

dfs.datanode.data.dir (datanode使用的磁盘目录,默认使用所有数据盘,并且会拼接uuid,为了后续扩盘考虑,建议自定义)

dn的rack信息在扩容或者安装后需要修改,要通过以下方式生效:修改rack并同步配置到该dn节点>同步配置并重启nn节点

变更注意事项

为保证变更期间的服务可用性,需要按照以下顺序进行变更

变更standby namenode所在节点的zkfc服务

变更standy namenode 服务

变更active namenode所在节点的zkfc服务

变更active namenode服务

滚动变更journalnode节点

滚动变更datanode节点

滚动变更 client节点