NDH 6.6.0

新增组件

  1. 新增 ClickHouse 组件(23.3.2.37-LTS-1.0.0),提供高性能列式 OLAP 分析能力。
  2. Hive 新增 hiveSql_metrics_plugin 插件(1.0.3),支持 Hive 全链路指标采集与分析。

组件升级

  1. EasyOps 升级 2.0.5.2:管控性能提升(同步配置、重启等操作优化),支持删除无效配置版本以降低维护复杂度,优化服务变更向导交互。
  2. Impala 升级 4.1.0-6.6.0:statestored 与 catalogd 支持高可用;Impala 直接依赖 ZK 获取 zk_link,不再依赖 Hive 导出信息;支持虚拟数仓相关配置改造;管理服务器暴露数据表保留天数配置。
  3. Spark 升级 3.3.1.24、Kyuubi 升级 1.8.0.14,Spark-Access 插件升级 spark-3.3.x-plugin-3.2.1-0.0.9.2。
  4. Hive 升级 2.3.8-1.5.0 / 3.1.3-1.1.0,集成 Hive 全链路分析 hook。
  5. NDHManager 升级 1.3.0:HDFS 数据迁移支持 JindoDistcp 与过滤迁移;Hive 表迁移支持分区 location 变更后增量迁移、迁移后数据自动校验、重构高级设置与资源设置;YARN 队列管理支持任务优先级、队列提交映射(负载均衡放置策略)、队列删除;Impala 队列管理支持队列删除。
  6. EasyEagle 升级 2.4.0:HDFS/Yarn/Hive 服务支持风险异常报警(可对接夜莺自定义渠道与规则);新增 Hive 全链路诊断(任务阶段耗时、非 MR 任务耗时诊断);Impala 新增查询连接分析与元数据同步分析。
  7. EasyRanger 升级 2.1.0-ne-0.2.6(适配不同类型数据库),NTSDB 升级 1.3.5,Knox 升级 1.6.0-2.3.1。

功能优化

  1. Hive/Kyuubi/Impala 的 JDBC 接口默认支持 LDAP 认证。
  2. HDFS 数据盘更新后支持自动创建组件本地盘所需目录。
  3. 组件扩容时只回滚失败节点,避免已成功节点被一并回滚停服。
  4. 导入的 Kerberos 支持同步配置操作,导入的服务也支持自定义操作。
  5. NDH 适配人大金仓数据库;LDAP 支持容器化部署;YARN 支持直接依赖 Router 部署。
  6. 统一 NDH 服务组件日志 log4j 与 GC 日志默认配置。

重要修复

  1. 修复 Yarn 同步配置失败、YARN 对接 Router 后 RM 无法同步配置的问题。
  2. 修复 KNOX 跳转 Yarn 页面后部分页面无法继续跳转的问题。
  3. 修复对接部署场景下导入 Ldap 已有用户导致 Kafka/Yarn/Kudu 安装报错的问题。
  4. 修复 EasyOps 添加主机卡住、导入 Ldap 同步配置后导出值变空、sqoop 无 kerberos/hive 无法安装等问题。