Alluxio 服务部署
Alluxio 服务部署
下面通过EasyOps平台说明Alluxio集群的部署步骤。
点击顶部[服务]标签,进入服务选择页面,单击左侧[基础组件]下的[Alluxio]服务,随后点击右侧[添加服务实例];
填写服务实例名,并选择集群;
如果适配了多个版本的Alluxio,可在此处选择不同版本;
选择主机,推荐选择至少3台搭建Alluxio集群(1master+2worker),master最多只能部署一台(暂不支持高可用),master也可以与worker部署在同一台机器上,其他组件均需至少部署一个
选择依赖,并确定各组件部署在哪台机器上,如果是没有HDFS的云环境,则没有HDFS和Kerberos依赖。一般推荐每个master、job_master、master_proxy部署在同一台机器,worker同理,如果只需要基础的缓存功能则只需要部署master/worker,master可以与worker混部,多个worker暂不支持部署在同一节点上。master与worker部署在同一节点时,proxy组件会受到alluxio自身的限制,只能启动一个,这时建议只部署一个proxy。
填写配置项,先选择要修改配置的组件,以下配置需要根据实际情况修改,其余配置一般使用默认配置即可:
a. alluxio.master.hostname,此配置写master组件的所在主机hostname;
b. alluxio.master.mount.table.root.ufs,根据底层存储的不同类型进行修改,如HDFS则写hdfs://xxx-cluster,S3写s3://bucket_name。当想要挂载多个HDFS或不同存储类型的底层时,建议在Alluxio文件系统的根目录下增加一层以HDFS逻辑域名或其他存储名称命名的目录(需要手动在集群上执行命令),方便区分不同集群的存储。假设要挂载两个HDFS集群在Alluxio上,hdfs://cluster1和hdfs://cluster2,则在Alluxio中根目录结构为/cluster1和/cluster2。
c. alluxio.security.ranger.enabled,如果启用Ranger鉴权,则改为true;
d. alluxio.master.embedded.journal.addresses,根据实际情况修改,写所有master的hostname:19200;
e. alluxio.master.rpc.addresses,根据实际情况修改,写所有master的hostname:19998;
f. ranger.plugin.alluxio.policy.rest.url,如开启Ranger,则写Ranger的http://hostname:port,(注意:前面要有http://前缀)
g. ranger.plugin.alluxio.service.name,默认为alluxio,表示alluxio使用的ranger service repo名称,建议不修改;
h. metrics配置组下的配置,如不需要查看Alluxio集群的metrics则清空配置,默认输出csv文件和Prometheus格式的metrics;
需要修改的配置一般仅针对master或worker,对于job_master/job_worker/proxy可以直接选择最新的配置组版本进行应用配置;
等待Alluxio安装结束。
以上内容对您是否有帮助?