中台组件常见配置修改汇总

一、修改数据库默认配置

以下服务依赖数据库,修改数据库默认配置的方式是一致的

easy_account easy_alert easy_dqc easy_metahub easy_test meta_service
azkaban easy_console easy_dasset easy_qa easy_transfer easy_dataservice
easy_aac easy_coop easy_design easy_tag hadoop_meta
easy_access easy_dmp easy_index easy_taskops mammut

修改内容如下图所示:

Generated

数据库、数据库访问账号/密码,仅在服务安装过程中初始化,若要改动,在安装向导中修改;服务安装完成后,如无特别需求,不要修改db_name, db_user, db_password。

若要在安装完成后改动数据库名、数据库账号、数据库密码等,需要手动操作数据库创建库名、账号、授权,导入ddl、dml等。数据库弱密码修改详见已部署环境中台弱密码调整方案

二、修改java opts

(一)通用

以下服务修改指定组件的java opts方式是一致的

easy_account(server) easy_alert(server) easy_dqc(backend)
meta_service(service) easy_console(backend) easy_dasset(backend)
easy_aac(server) easy_coop(backend) easy_design(backend)
easy_access(backend) easy_dmp(backend) easy_index(backend)
easy_ddl(server) easy_dataservice(backend、monitor、service) easy_metahub(backend)
easy_qa(backend) easy_tag(backend) easy_taskops(backend)
easy_test(backend) easy_transfer(backend) bdms_meta(server)
easy_console(backend) kong(cassandra)

Generated

修改后,批量应用当前版本,重启+同步配置指定的服务的对应组件

(二)mammut服务

webserver组件

Generated

修改后,批量应用当前版本,重启+同步配置webserver组件

executor组件

Generated

修改后,批量应用当前版本,重启+同步配置executor组件

(三)azkaban服务

exec组件

Generated

修改后,批量应用当前版本,重启+同步配置exec组件

web组件

Generated

修改后,批量应用当前版本,重启+同步配置web组件

三、修改办公网地址

(一)应用场景

使用ip地址访问

在不能使用vip部署NginxHA组件的环境,用户通过浏览器访问中台的url地址是nginx组件部署机器的主机地址,例如http://bigdata001.test.org:10000 等。有些用户环境需要用户修改客户机器上的/etc/hosts,解决这一问题可用修改办公网地址方式,例如使用地址 http://10.12.2.1:10000。

自定义域名

用户希望是浏览器访问的地址更具有可读性

以下场景以easy_account为例,例如用户想用自定义域名account.bdms.com访问账号系统

在办公网机房网互通的环境

场景一:DNS配置域名account.bdms.com映射到nginx地址,端口使用easyops默认,修改nginx配置组下的nginx_server_name为http://account.bdms.com:10002

场景二,DNS配置域名account.bdms.com映射到nginx地址,端口使用用户期望的,例如20000,修改nginx配置组下的nginx_frontend_port为20000,修改nginx配置组下的nginx_server_name为http://account.bdms.com:20000

场景三,DNS配置域名account.bdms.com映射到nginx地址,端口默认80 修改nginx配置组下的nginx_frontend_port为80,修改nginx配置组下的nginx_server_name为http://account.bdms.com,如果所有服务都用80端口的话,每个服务都需要提供域名

场景四,如果easyops部署的nginx支持https协议,注意上述场景1、2、3的http改成https

办公网、机房网网络隔离

需要在办公网部署一个nginx,打通办公网nginx与机房网nginx的网络,例如开通端口情况,仅需要开通每个组件的nginx前端端口,nginx_server_name需要改为办公部署的nginx地址,格式参考ip地址访问;还需要注意的是办公网部署的nginx需要手动配置到机房网nginx的反向代理内容

(二)通用

以下服务修改办公网方式是一致的

easy_account easy_webmaster easy_dqc
easy_console easy_console easy_dasset
easy_aac easy_coop easy_design
easy_access easy_dmp easy_index
easy_transfer easy_dataservice easy_metahub
easy_qa easy_tag easy_taskops
easy_test

Generated

注意nginx_server_name中的端口地址和nignx_frontend_port的保持一致,如果port是80, nginx_server_name中可以不带port。注意列表中所有组件都需要改,不能出现部分改,部分未改的情况。

(三)metahub

Generated

注意nginx_server_name中的端口地址和nignx_frontend_port的保持一致,如果port是80, nginx_server_name中可以不带port

(四)同步配置

改过nginx_server_name后的服务,先服务级别同步配置一次,可并行执行,审计查看同步配置是否有失败。第一次同步配置全部成功后,服务级别重启+同步配置一次,可并行执行,审计查看同步配置是否有失败。注意bdms_meta只有机房网高可用地址,各组件同步配置时需要保证此服务正常。

四、透传支持

(一) metahub

配置项组 对应配置文件
application-easyops.properties application-easyops.properties

需要透传的配置,针对具体场景咨询中台开发

(二) azkaban

exec

配置项组 对应配置文件
plugin.easydqc.plugin.properties {{ current_dir }}/plugins/jobtypes/dqc/plugin.properties
plugin.easydqc.private.properties {{ current_dir }}/plugins/jobtypes/dqc/private.properties
plugin.easyai.plugin.properties {{ current_dir }}/plugins/jobtypes/ai/plugin.properties
plugin.easyai.private.properties {{ current_dir }}/plugins/jobtypes/ai/private.properties
plugin.easytransfer.plugin.properties {{ current_dir }}/plugins/jobtypes/ndi/plugin.properties
plugin.easytransfer.private.properties {{ current_dir }}/plugins/jobtypes/ndi/private.properties
plugin.easytest.plugin.properties {{ current_dir }}/plugins/jobtypes/easytest/plugin.properties
plugin.easytest.private.properties {{ current_dir }}/plugins/jobtypes/easytest/private.properties
plugin.hivejdbc.plugin.properties {{ current_dir }}/plugins/jobtypes/hivejdbc/plugin.properties
plugin.hivejdbc.private.properties {{ current_dir }}/plugins/jobtypes/hivejdbc/private.properties
plugin.hive.plugin.properties {{ current_dir }}/plugins/jobtypes/hive/plugin.properties
plugin.hive.private.properties {{ current_dir }}/plugins/jobtypes/hive/private.properties
plugin.script.private.properties {{ current_dir }}/plugins/jobtypes/script/private.properties
plugin.hadoopJava.plugin.properties {{ current_dir }}/plugins/jobtypes/hadoopJava/plugin.properties
plugin.hadoopJava.private.properties {{ current_dir }}/plugins/jobtypes/hadoopJava/private.properties
plugin.java.private.properties {{ current_dir }}/plugins/jobtypes/java/private.properties
plugin.spark.plugin.properties {{ current_dir }}/plugins/jobtypes/spark/plugin.properties
plugin.spark.private.properties {{ current_dir }}/plugins/jobtypes/spark/private.properties
plugin.sparksql.plugin.properties {{ current_dir }}/plugins/jobtypes/sparksql/plugin.properties
plugin.sparksql.private.properties {{ current_dir }}/plugins/jobtypes/sparksql/private.properties
plugin.common.properties {{ current_dir }}/plugins/jobtypes/common.properties
plugin.commonprivate.properties {{ current_dir }}/plugins/jobtypes/commonprivate.properties
plugin.dynamic.properties {{ current_dir }}/plugins/jobtypes/dynamic.properties
exec.azkaban.properties {{ current_dir }}/conf/azkaban.properties
exec.log4j.properties {{ current_dir }}/conf/log4j.properties
exec.data-quality.properties {{ current_dir }}/conf/data-quality.properties
exec.global.properties {{ current_dir }}/conf/global.properties
exec.metahub.kafka.properties {{ current_dir }}/conf/metahub.kafka.properties
plugin.dataquality.plugin.properties {{ current_dir }}/plugins/jobtypes/data_quality/plugin.properties
plugin.dataquality.private.properties {{ current_dir }}/plugins/jobtypes/data_quality/private.properties

需要透传的配置,针对具体场景咨询中台开发;应用当前版本,exec组件重启+同步配置

web

配置项组 对应配置文件
web.azkaban.properties {{ current_dir }}/conf/azkaban.properties
web.log4j.properties {{ current_dir }}/conf/log4j.properties

需要透传的配置,针对具体场景咨询中台开发;应用当前版本,web组件同步配置,停服RUNNING状态的web。不需要启动,fc组件会自动拉起一个web组件。

fc

配置项组 对应配置文件
fc.azkaban.properties {{ current_dir }}/conf/azkaban.properties
fc.log4j.properties {{ current_dir }}/conf/log4j.properties

需要透传的配置,针对具体场景咨询中台开发;应用当前版本,fc组件重启+同步配置

(三) hadoop_meta

scheduler

配置项组 对应配置文件
scheduler.meta.xml {{ config_dir }}/meta.xml

需要透传的配置,针对具体场景咨询中台开发;应用当前版本,scheduler组件重启+同步配置

(四) easy_dataservice

backend

配置项组 对应配置文件
application.properties {{ config_dir }}/application.properties

需要透传的配置,针对具体场景咨询中台开发;应用当前版本,backend组件重启+同步配置

(五) easy_transfer

client

配置项组 对应配置文件
ndi.client.properties {{ config_dir }}/ndi.properties

需要透传的配置,针对具体场景咨询中台开发;应用当前版本,client组件同步配置

五、报警系统定制化插件配置

在advanced配置项组下新增一个key,命名规则template.{定制化插件对应的配置文件名称},具体配置文件名称,配置内容咨询报警系统开发

Generated

六、账号系统插件配置

在advanced配置项组下新增一个key,命名规则template.{定制化插件对应的配置文件名称},具体配置文件名称,配置内容咨询账号系统开发

Generated