Kyuubi配置说明
更新时间: 2023-02-03 18:42:31
阅读 77
扫码
复制
导出Kyuubi配置说明
EasyOps 平台可配置的 Kyuubi 相关配置项说明
| 配置组 | 参数名 | 参数值 | 说明 |
| common | kyuubi.znode.name | kyuubi-cluster | 注册至ZK的znode path名称 |
| spark.yarn.access.namenodes | $$PLACE_HOLD$$ | 占位符，会自动根据依赖的Yarn服务来生成。譬如hdfs://easyops-cluster,hdfs://mycluster | |
| spark.yarn.am.extraJavaOptions | -XX:PermSize=128m -XX:MaxPermSize=128m -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution | AM服务的JavaOpts参数 | |
| spark.driver.extraJavaOptions | -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSConcurrentMTEnabled -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:+CMSClassUnloadingEnabled -XX:+CMSParallelRemarkEnabled -XX:+UseCondCardMark -XX:PermSize=1024m -XX:MaxPermSize=1024m -XX:MaxDirectMemorySize=8192m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./logs -XX:OnOutOfMemoryError=”kill -9 %p” -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -Xloggc:./logs/kyuubi-server-gc-%t.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=50 -XX:GCLogFileSize=5M -Dio.netty.leakDetection.level=advanced -XX:NewRatio=3 | Driver服务的JavaOpts参数 | |
| spark.driver.memory | 4g | driver内存大小 | |
| spark.executor.extraJavaOptions | -XX:PermSize=1024m -XX:MaxPermSize=1024m -XX:MaxDirectMemorySize=1024m -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution | executor的JavaOpts参数 | |
| spark.executor.memory | 4g | exector内存大小 | |
| spark.yarn.am.memory | 2g | am内存大小 | |
| spark.bundle.version | 2.3.2-bin-ne-0.2.0 | kyuubi依赖的spark版本 | |
| KYUUBI_SUBMIT_ENABLE | true | 是否支持以kyuubi服务来提交作业 | |
| log4j | log4j.rootLogger | INFO,RFA | |
| log4j_properties_template | 略 | 生成 log4j.properties 配置文件的模板 | |
| env | JAVA_HOME | /usr/lib64/jdk8 | java_home路径 |
| JAVA_OPTS | -server | ||
| kyuubi_env_sh_template | 略 | 生成 kyuubi-env.sh 配置文件的模板 | |
| spark_env_sh_template | 略 | 生成 spark-env.sh 配置文件的模板 |
配置透传（高级参数配置）
若需要变更服务配置文件，请按照以下步骤执行：
明确需要添加或修改的参数名称
新增一个配置分组，分组名必须为spark-defaults.conf (使用1.7.3版本新部署的服务默认存在该分组)
在该分组下新增对应的字段名，名称为参数名，类型为string，字段值即要调整的参数值
重启服务，勾选同步配置让配置生效
Kyuubi服务配置文件参考（同Spark）https://spark.apache.org/docs/2.3.0/configuration.html
文档反馈
以上内容对您是否有帮助？