问题描述/异常栈:

ack with firstBadLink as XXXX

解决方案

1. 调整DN节点hdfs-site.xml配置参数:dfs.datanode.max.transfer.threads = 8192
2. 扩容集群DN节点数

问题原因

出现该问题的原因一般为用户调度任务处理的文件数过多,一般出现在使用动态分区或操作大量小文件,导致短时间对DN节点创建线程数超时上限导致

作者:焦巍