Hive服务配置

常用配置

配置组：env

参数名 默认值 备注
java_home /usr/lib64/jdk8 jdk home
env_sh_template 略 生成 hive-env.sh 配置文件的模板

配置组：log4j

参数名 默认值 备注
log4j_properties_template 略 生成 hive-log4j2.properties 配置文件的模板

配置组：metahub

参数名 默认值 备注
metahub_version 3.0.4 血缘插件 metahub 版本
kafka_topic metahub_lineage 血缘插件 metahub 在 kafka 中的相应 topic 名
kafka_bootstrap_servers 无 kafka broker 的url, 默认不配置，会从 Hive 依赖的 kafka 中获取

配置组：hive

参数名 默认值 备注
hive_local_task_child_opts -Xmx2G -Xms2G -XX:PermSize=512m hive-env.sh 配置中的 HIVE_LOCAL_TASK_CHILD_OPTS，为 Hive 子进程 jvm 配置
hive_query_log_location /tmp/hive-2.1.1-current/logs hive-site.xml 配置中的 hive.querylog.location，为 Hive query 的日志路径
hive_delegation_tokec_store_zk_znode /hive-delegation1 hive-site.xml 配置中的 hive.cluster.delegation.token.store.zookeeper.znode，为 token存储的节点跟路径
hive_metastore_zk_namespace hive hive-site.xml 配置中的 hive.metastore.zookeeper.product.namespace，Hive metastore 的所有 ZooKeeper 节点的父节点。
hive_hiveserver_zk_namespace hiveserver2 hive-site.xml 配置中的 hive.metastore.zookeeper.product.namespace，Hive hiveserver 的所有 ZooKeeper 节点的父节点。

配置组：mysql

参数名 默认值 备注
db_name metastore Hive metastore 在 mysql 中的数据库名
db_user hive Hive metastore 在 mysql 中的用户名
db_password hive Hive metastore 在 mysql 中的用户密码
db_port 3306 Hive metastore 连接 mysql 所有端口
db_host 无 Hive metastore 连接 mysql 所用IP或域名，默认无配置，从依赖的 mysql 服务中获取

配置组：metastore

参数名 默认值 备注
hive_metastore_jvm_opts -Xmx2G -Xms2G -XX:PermSize=512m -XX:+UseConcMarkSweepGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=2 -XX:GCLogFileSize=2G -XX:+HeapDumpOnOutOfMemoryError Hive metastore jvm 选项
hive_metastore_gc_log_filename metastore-gc.log Hive metastore gc 日志名

配置组：hiveserver

参数名 默认值 备注
hive_hiveserver_jvm_opts -Xmx15360m -Xms15360m -XX:PermSize=2G -XX:+UseConcMarkSweepGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=2 -XX:GCLogFileSize=2G Hive hiveserver jvm 选项
hive_hiveserver_gc_log_filename hiveserver2-gc.log Hive hiveserver gc 日志名

配置组：zookeeper

参数名 默认值 备注
zk_link 无 Hive 服务所依赖的 zookeeper 的 zk_link, 默认无配置，可从所依赖的 zookeeper 服务中获取
zk_server_groups 无 Hive 服务所依赖的 zookeeper 的 zk_server_groups, 默认无配置，可从所依赖的 zookeeper 服务中获取
zk_server_port 2182 Hive 服务所依赖的 zookeeper 的端口

配置组：ranger

参数名 默认值 备注
ranger_hive_plugin_version 0.5.4-1.0.6-hive-2.1.1 Hive 服务所用 Ranger 插件的版本号
ranger_table_name metastore_changelog_hivedev ranger-hive-security.xml 配置中的 ranger.metastore.changelog.table.name 配置项，为 Hive metastore 在 Ranger 数据库中的表名
ranger_audit_hdfs_dir hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit install.properties 配置中的 XAAUDIT.HDFS.HDFS_DIR 配置项
ranger_audit_hdfs_file_spool /var/log/hive/audit/hdfs/spool install.properties 配置中的 XAAUDIT.HDFS.FILE_SPOOL_DIR 配置项
ranger_ui_user admin Hive 服务所依赖 Ranger 服务的 admin web 界面的登录用户名
ranger_ui_password admin Hive 服务所依赖 Ranger 服务的 admin web 界面的登录用户密码
ranger_repo_name easyops-hive Hive 服务在所依赖 Ranger 服务中的创建的 service 名
ranger.metastore.sync.hiveImpala true ranger-hive-security.xml 配置中的 ranger.metastore.sync.hiveImpala 配置项
ranger_hive_username hive Hive 服务在所依赖 Ranger 服务中的用户名
ranger_hive_password admin123 Hive 服务在所依赖 Ranger 服务中的用户密码
ranger_hive_firstname hive Hive 服务在所依赖 Ranger 服务中的用户 firstname
ranger_hive_service_default_username dbadmin Hive 服务在所依赖 Ranger 服务中的默认用户名
ranger_hive_service_default_user_password dbadmin Hive 服务在所依赖 Ranger 服务中的默认用户密码
ranger_hive_service_jdbc_driverClassName org.apache.hive.jdbc.HiveDriver hive service default jdbc driverClassName
ranger_hive_service_jdbc_url 123 hive service default jdbc url

高级配置

Hive 服务支持 hive-site-client.xml, hive-site.xml, hivemetastore-site.xml, 以及 hiveserver2-site.xml 配置文件的配置增加服务，低于1.7.3版本需要自行建配置分组。按照以下步骤执行：

明确需要添加的参数名称，以 hive-site.xml 的 hive.mapjoin.bucket.cache.size 配置项为例，在 hive-site.xml 分组下新增对应的字段名，类型为number

增加新配置项后即可设置该新配置项的值

应用当前新配置后，重启服务，勾选同步配置让配置生效

hive-site-client.xml, hivemetastore-site.xml 和 hiveserver2-site.xml 配置文件的配置增加操作步骤同上

Hive服务相关参数可以参考：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties