1 服务安装

下面使用 NDH Manager 平台来说明IMPALA服务安装部署的操作流程。 1. 点击顶部服务标签,进入服务管理页面。在左侧的组件导航栏选择Impala服务后,在服务实例列表栏右端,点击添加服务实例。在弹出的服务安装向导窗口中,输入新安装的服务实例名称和选择服务实例所属的集群名称(服务分组) 4.1.png 2. 下一步进入服务版本选择界面。对于适配了多个版本的服务,可以选择要部署的版本。 4.2.png 3. 下一步选择服务安装的服务器列表: 4.3.png 可以从主机列表上看到当前服务器的基本配置和已经安装的组件数量,并据此来选择新服务部署的节点。

4. 下一步设置服务拓扑: 4.4.png Impala服务依赖HDFS,Hive以及Kerberos

  • • 选择此Impala服务实例所依赖的HDFS实例
  • • 选择此Impala服务实例所依赖的Hive实例
  • • 选择此Impala服务实例所依赖的Kerberos实例 在主机列表选择每个组件中待加入的节点(Impala服务有Statestored、Impalad、Catalogd、Client四个组件)

    注意: 需要HDFS依赖是为获取hdfs-site以及core-site配置文件,以及此HDFS服务实例在ranger上的repo_id,用做添加ranger权限使用 需要Hive依赖是为获取hive-site,hive-metastore-service-keytab,hive-zk-link,以及此Hive服务实例在ranger上的repo_id,用做添加ranger权限使用

5. 下一步进入服务配置界面 4.5.png 默认情况下,平台会为服务生成一个配置组;但用户也可以通过新建配置组来自己生成服务的配置组 选择该服务已存在的配置组和版本,将其应用到新部署的节点。配置组配置支持版本回溯,通过选择不同的版本号即可应用。

6. 进入配置组编辑页面 4.6.png 可以将随机生成的配置组名称变更为可读的名称。通过搜索栏,能快速定位到要修改的属性名或参数设置。修改完毕后,应用配置。 配置组修改完毕应用后,可以看到一个节点的配置版本已经修改到最新的版本。但其他节点的配置版本还是旧版本。所以我们可以通过批量应用配置组功能将配置更新到所有节点。 4.7.png 在下拉菜单中选择版本号。在版本联动菜单中选择该修改的版本号,点击全部应用。可以发现,所有组件的配置组版本都已变更为最新的版本号。

7. 下一步开始安装服务 4.8.png 8. 安装完成后的状态如下图: 4.9.png 若出现安装异常,可以在解决异常后,点击重新安装失败项 若出现安装异常,可以点击此处查看具体的异常堆栈 安装成功后,可以查看到服务的日志

1.1 启动参数预估

给出启动参数的预估值,从服务需要资源的角度出发,给出JVM启动参数参考值。下面是例子:

  • catalogd:
    • 机器内存<128G ,-Xms = 48G, -Xmx = 48G
    • 机器内存<512G,-Xms = 96G, -Xmx = 96G
    • 机器内存>512G,-Xms = 256G, -Xmx = 256G
  • coordinator:
    • 机器内存<128G ,-Xms = 48G, -Xmx = 48G
    • 机器内存<512G,-Xms = 96G, -Xmx = 96G
    • 机器内存>512G,-Xms = 256G, -Xmx = 256G
    • query_log_size=2048
    • v=1
    • fe_service_threads=256

2 服务启动\停止

为了保证服务的可用性,重启服务时需要依照以下顺序:

1. 启动statestored服务

2. 启动catalogd服务

3. 启动impalad服务

停止服务顺序与启动服务顺序相反。如果单独启停catalogd或impalad,则没有需求。

3 服务扩容

与其他组件相同。

4 服务升级

与其他组件相同。

5 服务卸载

与其他组件相同。