适用模块

中台

具体说明

用户使用python节点,添加conda环境的python
注意:一般情况下不建议修改azkaban下的python默认2.7.5环境,因为用户的python版本复杂,插件复杂不太好管控。需要部署conda,进行python虚拟python环境管理,用户可以自行进行想要的python插件管理。
所以需要新增一个conda虚拟环境。
azkaban服务器的节点都需要部署,用户自行部署conda环境

使用示例

mammut添加相关配置如下
格式
python/easyops-cluster/pyspark_env
python:默认
easyops-cluster:平台的集群名称
pyspark_envconda创建的环境名称

INFO-平台添加conda环境的python节点版本 - 图1

添加python/easyops-cluster/pyspark_env配置说明如图所示
versionconda虚拟环境里面的python版本
3.6.8 

nameconda创建的虚拟环境名称
pyspark_env

env_pathconda的部署路径
/home/azkaban/miniconda3/envs/pyspark_env

activate_cmd:进入虚拟环境的命令
. /home/azkaban/miniconda3/etc/profile.d/conda.sh && conda activate pyspark_env


deactivate_cmd:退出虚拟环境的命令
conda deactivate

INFO-平台添加conda环境的python节点版本 - 图2

activate_cmd可通过这个内容里面的命令,测试登录到azkaban验证,如下
. /home/azkaban/miniconda3/etc/profile.d/conda.sh && conda activate pyspark_env

INFO-平台添加conda环境的python节点版本 - 图3

配置完成之后:
1.同步配置mammut节点
2.同步配置azkaban节点
不需要重启
最终平台的效果如下

INFO-平台添加conda环境的python节点版本 - 图4

conda部署环境参考(仅供参考):
https://study.sf.163.com/documents/read/service_support/dsc-p-g-1226
python节点禁用模块规则:
https://study.sf.163.com/documents/read/service_support/dsc-p-g-1227

作者:qianzhaoyuan