FAQ-Datanode Java heap space 节点下线

问题描述/异常栈
hdfs webui显示datanode节点离线
FAQ-Datanode Java heap space 节点下线 - 图1
datanode节点日志
FAQ-Datanode Java heap space 节点下线 - 图2
监控信息
FAQ-Datanode Java heap space 节点下线 - 图3
发现版本
hdfs 3.3.0-1.5.2
解决方案
解决方案：
增加Datanoe内存，DataNode 上的副本数量超过 400 万时，每增加 100 万个副本，就需要额外增加 1 GB 内存。例如，500 万个副本需要 5 GB 内存。
问题原因
DataNode默认内存4g,当环境运行很久数据块超过400万时，或短时间内迁移大量数据到集群中导致hdfs 块急速增多时，产生内存不足，datanode失去链接。

作者：林帅