有数如何连接中台的impala数据源(网易中台)
有数如何连接中台的impala数据源(网易中台)
前期配置工作
1、猛犸侧
1. 获取impala数据源的驱动信息,从猛犸的数据库中获取,需要进入猛犸的服务器中
驱动信息参考:
jdbc:hive2://dc-managenode3:2182,dc-managenode1:2182,dc-managenode2:2182/;
serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=impala-weblog-ha;
principal=impala/_HOST@BDMS.COM
这个信息的获取需要找用户猛犸的技术支持获取
2、有数测
1. 将猛犸的krb5.config文件上传的有数的 /youdata/目录下:
注意:猛犸的krb5文件在猛犸服务器上的 /etc/目录下
2. 进入有数的yaml配置文件中在 DA模块中添加krb5映射文件配置-yaml:cd /youdata/installer/
一般会存在直接把注释拿掉就可以了
3. 在web\inner-web\da模块中添加extra_hosts 域名解析:猛犸域名:猛犸服务器IP
配置完之后不要忘记dsd yaml文件:dsd docker-stack.xxx.yaml youdata / 双机 ydswarm
二、有数平台中配置impala连接信息
假设jdbcURL为:
jdbc:hive2://dc-managenode3:2182,dc-managenode1:2182,dc-managenode2:2182/;
serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=impala-weblog-ha;
principal=impala/_HOST@BDMS.COM
驱动:hive
连接模式:zooKeeper(serviceDiscoveryMode=zooKeeper)
服务器:dc-managenode3:2182,dc-managenode1:2182,dc-managenode2:2182
命名空间:impala-weblog-ha(zooKeeperNamespace=impala-weblog-ha)
认证方式:kerberos
服务器 principal:impala/_HOST@BDMS.COM (principal=impala/_HOST@BDMS.COM)
客户端 principal和keytab文件的获取:(需要在用户侧数据平台猛犸的项目中心获取)
然后将keytab文件上传到有数中就可以了
注:如若连接失败,报DA异常,可上服务器上检查一下服务器时间是否与实时时间相同,二者差距不可超过5分钟,如果相差5分钟之上,需要手动同步服务器时间。命令:date -s '实时时间'
以上内容对您是否有帮助?