NDH 6.7.0

该版本于 2025年04月09日 正式发版，对外可升级

新增组件

1. 新增 Iceberg 组件（1.3.1-1.1.0），Spark/Flink 等计算引擎可直接依赖 Iceberg 部署，支持数据湖表格式（支持卸载时清理对应目录、移除 iceberg 依赖时清理）。

组件升级

1. EasyOps 升级 2.0.5.5：修复扩容 Hive 客户端问题，支持多 JDK 部署。
2. Hadoop 统一升级 3.3.0-1.5.1：Router 实现底层子集群隔离优化；YARN 升级 Spark shuffle 插件至 3.3 版本；YARN 默认队列由 default 调整为 root.default；及其他 bug 修复。
3. Flink 升级 ne-flink-1.18.0-1.1.1-scala-2.12，集成最新 1.18 版本，支持 Flink-Iceberg 链路。
4. Impala 升级 4.1.0-6.7.0-hive-2.1.1，修复部分配置缺失导致无法启动的问题。
5. Spark 升级 3.3.1.46-bin-netease-hadoop3：支持 Native 向量化 Engine（Gluten 1.1.2.2）提升 SparkSQL 查询性能（预览）；支持 JDK17 降低 GC 耗时、提升查询性能（预览）。
6. Amoro 升级 0.6.0.6，Access 升级 1.0.7（对齐 easyaccess 默认 JVM 参数）。
7. EasyEagle 升级 2.5.1：
   • 新增 HBase 服务健康（可用性探查、热点 region 探查、本地率风险探查），同步配置时自动创建 HBase 表并为 yarn 用户赋权；
   • 存储资源治理增强（非表目录存储分析、重构存储容量治理：无用文件分析治理、数据压缩分析治理）；
   • Spark SQL 诊断支持 Application 粒度与 SQL 粒度的资源诊断及运行耗时分析；
   • 支持僵尸任务诊断（页面发现浪费资源的僵尸任务）；
   • 新增 Flink 任务计算资源诊断，解决大量 Flink 任务资源配置不合理问题；
   • 新增 Kyuubi 集成 EasyEagle 插件，修复 Impala 查询数变化图表显示问题。
8. NDHManager 升级 1.4.1：
   • HDFS 支持基于快照的全量及增量迁移，HDFS 迁移支持新增自定义参数；
   • HDFS、Hive 迁移任务新增监控告警功能与 Task 任务终止；
   • 新增 Hive 任务迁移 Spark 任务语法及结果一致性校验；新增 jmx 监控。