中台组件常见配置修改汇总
中台组件常见配置修改汇总
一、修改数据库默认配置
以下服务依赖数据库,修改数据库默认配置的方式是一致的
easy_account | easy_alert | easy_dqc | easy_metahub | easy_test | meta_service |
---|---|---|---|---|---|
azkaban | easy_console | easy_dasset | easy_qa | easy_transfer | easy_dataservice |
easy_aac | easy_coop | easy_design | easy_tag | hadoop_meta | |
easy_access | easy_dmp | easy_index | easy_taskops | mammut |
修改内容如下图所示:
数据库、数据库访问账号/密码,仅在服务安装过程中初始化,若要改动,在安装向导中修改;服务安装完成后,如无特别需求,不要修改db_name, db_user, db_password。
若要在安装完成后改动数据库名、数据库账号、数据库密码等,需要手动操作数据库创建库名、账号、授权,导入ddl、dml等。数据库弱密码修改详见已部署环境中台弱密码调整方案
二、修改java opts
(一)通用
以下服务修改指定组件的java opts方式是一致的
easy_account(server) | easy_alert(server) | easy_dqc(backend) |
---|---|---|
meta_service(service) | easy_console(backend) | easy_dasset(backend) |
easy_aac(server) | easy_coop(backend) | easy_design(backend) |
easy_access(backend) | easy_dmp(backend) | easy_index(backend) |
easy_ddl(server) | easy_dataservice(backend、monitor、service) | easy_metahub(backend) |
easy_qa(backend) | easy_tag(backend) | easy_taskops(backend) |
easy_test(backend) | easy_transfer(backend) | bdms_meta(server) |
easy_console(backend) | kong(cassandra) |
修改后,批量应用当前版本,重启+同步配置指定的服务的对应组件
(二)mammut服务
webserver组件
修改后,批量应用当前版本,重启+同步配置webserver组件
executor组件
修改后,批量应用当前版本,重启+同步配置executor组件
(三)azkaban服务
exec组件
修改后,批量应用当前版本,重启+同步配置exec组件
web组件
修改后,批量应用当前版本,重启+同步配置web组件
三、修改办公网地址
(一)应用场景
使用ip地址访问
在不能使用vip部署NginxHA组件的环境,用户通过浏览器访问中台的url地址是nginx组件部署机器的主机地址,例如http://bigdata001.test.org:10000 等。有些用户环境需要用户修改客户机器上的/etc/hosts,解决这一问题可用修改办公网地址方式,例如使用地址 http://10.12.2.1:10000。
自定义域名
用户希望是浏览器访问的地址更具有可读性
以下场景以easy_account为例,例如用户想用自定义域名account.bdms.com访问账号系统
在办公网机房网互通的环境
场景一:DNS配置域名account.bdms.com映射到nginx地址,端口使用easyops默认,修改nginx配置组下的nginx_server_name为http://account.bdms.com:10002
场景二,DNS配置域名account.bdms.com映射到nginx地址,端口使用用户期望的,例如20000,修改nginx配置组下的nginx_frontend_port为20000,修改nginx配置组下的nginx_server_name为http://account.bdms.com:20000
场景三,DNS配置域名account.bdms.com映射到nginx地址,端口默认80 修改nginx配置组下的nginx_frontend_port为80,修改nginx配置组下的nginx_server_name为http://account.bdms.com,如果所有服务都用80端口的话,每个服务都需要提供域名
场景四,如果easyops部署的nginx支持https协议,注意上述场景1、2、3的http改成https
办公网、机房网网络隔离
需要在办公网部署一个nginx,打通办公网nginx与机房网nginx的网络,例如开通端口情况,仅需要开通每个组件的nginx前端端口,nginx_server_name需要改为办公部署的nginx地址,格式参考ip地址访问;还需要注意的是办公网部署的nginx需要手动配置到机房网nginx的反向代理内容
(二)通用
以下服务修改办公网方式是一致的
easy_account | easy_webmaster | easy_dqc |
---|---|---|
easy_console | easy_console | easy_dasset |
easy_aac | easy_coop | easy_design |
easy_access | easy_dmp | easy_index |
easy_transfer | easy_dataservice | easy_metahub |
easy_qa | easy_tag | easy_taskops |
easy_test |
注意nginx_server_name中的端口地址和nignx_frontend_port的保持一致,如果port是80, nginx_server_name中可以不带port。注意列表中所有组件都需要改,不能出现部分改,部分未改的情况。
(三)metahub
注意nginx_server_name中的端口地址和nignx_frontend_port的保持一致,如果port是80, nginx_server_name中可以不带port
(四)同步配置
改过nginx_server_name后的服务,先服务级别同步配置一次,可并行执行,审计查看同步配置是否有失败。第一次同步配置全部成功后,服务级别重启+同步配置一次,可并行执行,审计查看同步配置是否有失败。注意bdms_meta只有机房网高可用地址,各组件同步配置时需要保证此服务正常。
四、透传支持
(一) metahub
配置项组 | 对应配置文件 |
---|---|
application-easyops.properties | application-easyops.properties |
需要透传的配置,针对具体场景咨询中台开发
(二) azkaban
exec
配置项组 | 对应配置文件 |
---|---|
plugin.easydqc.plugin.properties | {{ current_dir }}/plugins/jobtypes/dqc/plugin.properties |
plugin.easydqc.private.properties | {{ current_dir }}/plugins/jobtypes/dqc/private.properties |
plugin.easyai.plugin.properties | {{ current_dir }}/plugins/jobtypes/ai/plugin.properties |
plugin.easyai.private.properties | {{ current_dir }}/plugins/jobtypes/ai/private.properties |
plugin.easytransfer.plugin.properties | {{ current_dir }}/plugins/jobtypes/ndi/plugin.properties |
plugin.easytransfer.private.properties | {{ current_dir }}/plugins/jobtypes/ndi/private.properties |
plugin.easytest.plugin.properties | {{ current_dir }}/plugins/jobtypes/easytest/plugin.properties |
plugin.easytest.private.properties | {{ current_dir }}/plugins/jobtypes/easytest/private.properties |
plugin.hivejdbc.plugin.properties | {{ current_dir }}/plugins/jobtypes/hivejdbc/plugin.properties |
plugin.hivejdbc.private.properties | {{ current_dir }}/plugins/jobtypes/hivejdbc/private.properties |
plugin.hive.plugin.properties | {{ current_dir }}/plugins/jobtypes/hive/plugin.properties |
plugin.hive.private.properties | {{ current_dir }}/plugins/jobtypes/hive/private.properties |
plugin.script.private.properties | {{ current_dir }}/plugins/jobtypes/script/private.properties |
plugin.hadoopJava.plugin.properties | {{ current_dir }}/plugins/jobtypes/hadoopJava/plugin.properties |
plugin.hadoopJava.private.properties | {{ current_dir }}/plugins/jobtypes/hadoopJava/private.properties |
plugin.java.private.properties | {{ current_dir }}/plugins/jobtypes/java/private.properties |
plugin.spark.plugin.properties | {{ current_dir }}/plugins/jobtypes/spark/plugin.properties |
plugin.spark.private.properties | {{ current_dir }}/plugins/jobtypes/spark/private.properties |
plugin.sparksql.plugin.properties | {{ current_dir }}/plugins/jobtypes/sparksql/plugin.properties |
plugin.sparksql.private.properties | {{ current_dir }}/plugins/jobtypes/sparksql/private.properties |
plugin.common.properties | {{ current_dir }}/plugins/jobtypes/common.properties |
plugin.commonprivate.properties | {{ current_dir }}/plugins/jobtypes/commonprivate.properties |
plugin.dynamic.properties | {{ current_dir }}/plugins/jobtypes/dynamic.properties |
exec.azkaban.properties | {{ current_dir }}/conf/azkaban.properties |
exec.log4j.properties | {{ current_dir }}/conf/log4j.properties |
exec.data-quality.properties | {{ current_dir }}/conf/data-quality.properties |
exec.global.properties | {{ current_dir }}/conf/global.properties |
exec.metahub.kafka.properties | {{ current_dir }}/conf/metahub.kafka.properties |
plugin.dataquality.plugin.properties | {{ current_dir }}/plugins/jobtypes/data_quality/plugin.properties |
plugin.dataquality.private.properties | {{ current_dir }}/plugins/jobtypes/data_quality/private.properties |
需要透传的配置,针对具体场景咨询中台开发;应用当前版本,exec组件重启+同步配置
web
配置项组 | 对应配置文件 |
---|---|
web.azkaban.properties | {{ current_dir }}/conf/azkaban.properties |
web.log4j.properties | {{ current_dir }}/conf/log4j.properties |
需要透传的配置,针对具体场景咨询中台开发;应用当前版本,web组件同步配置,停服RUNNING状态的web。不需要启动,fc组件会自动拉起一个web组件。
fc
配置项组 | 对应配置文件 |
---|---|
fc.azkaban.properties | {{ current_dir }}/conf/azkaban.properties |
fc.log4j.properties | {{ current_dir }}/conf/log4j.properties |
需要透传的配置,针对具体场景咨询中台开发;应用当前版本,fc组件重启+同步配置
(三) hadoop_meta
scheduler
配置项组 | 对应配置文件 |
---|---|
scheduler.meta.xml | {{ config_dir }}/meta.xml |
需要透传的配置,针对具体场景咨询中台开发;应用当前版本,scheduler组件重启+同步配置
(四) easy_dataservice
backend
配置项组 | 对应配置文件 |
---|---|
application.properties | {{ config_dir }}/application.properties |
需要透传的配置,针对具体场景咨询中台开发;应用当前版本,backend组件重启+同步配置
(五) easy_transfer
client
配置项组 | 对应配置文件 |
---|---|
ndi.client.properties | {{ config_dir }}/ndi.properties |
需要透传的配置,针对具体场景咨询中台开发;应用当前版本,client组件同步配置
五、报警系统定制化插件配置
在advanced配置项组下新增一个key,命名规则template.{定制化插件对应的配置文件名称},具体配置文件名称,配置内容咨询报警系统开发
六、账号系统插件配置
在advanced配置项组下新增一个key,命名规则template.{定制化插件对应的配置文件名称},具体配置文件名称,配置内容咨询账号系统开发
以上内容对您是否有帮助?