有数如何连接中台的impala数据源(网易中台)

前期配置工作

1、猛犸侧

1. 获取impala数据源的驱动信息,从猛犸的数据库中获取,需要进入猛犸的服务器中

驱动信息参考:

jdbc:hive2://dc-managenode3:2182,dc-managenode1:2182,dc-managenode2:2182/; serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=impala-weblog-ha; principal=impala/_HOST@BDMS.COM

这个信息的获取需要找用户猛犸的技术支持获取

2、有数测

1. 将猛犸的krb5.config文件上传的有数的 /youdata/目录下:

有数如何连接中台的impala数据源(网易中台) - 图1

注意:猛犸的krb5文件在猛犸服务器上的 /etc/目录下

2. 进入有数的yaml配置文件中在 DA模块中添加krb5映射文件配置-yaml:cd /youdata/installer/

有数如何连接中台的impala数据源(网易中台) - 图2

一般会存在直接把注释拿掉就可以了

3. 在web\inner-web\da模块中添加extra_hosts 域名解析:猛犸域名:猛犸服务器IP

有数如何连接中台的impala数据源(网易中台) - 图3

有数如何连接中台的impala数据源(网易中台) - 图4

配置完之后不要忘记dsd yaml文件:dsd docker-stack.xxx.yaml youdata / 双机 ydswarm

二、有数平台中配置impala连接信息

假设jdbcURL为:

jdbc:hive2://dc-managenode3:2182,dc-managenode1:2182,dc-managenode2:2182/; serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=impala-weblog-ha; principal=impala/_HOST@BDMS.COM

有数如何连接中台的impala数据源(网易中台) - 图5

驱动:hive

连接模式:zooKeeper(serviceDiscoveryMode=zooKeeper)

服务器:dc-managenode3:2182,dc-managenode1:2182,dc-managenode2:2182

命名空间:impala-weblog-ha(zooKeeperNamespace=impala-weblog-ha)

认证方式:kerberos

服务器 principal:impala/_HOST@BDMS.COM (principal=impala/_HOST@BDMS.COM)

客户端 principal和keytab文件的获取:(需要在用户侧数据平台猛犸的项目中心获取)

有数如何连接中台的impala数据源(网易中台) - 图6

然后将keytab文件上传到有数中就可以了

注:如若连接失败,报DA异常,可上服务器上检查一下服务器时间是否与实时时间相同,二者差距不可超过5分钟,如果相差5分钟之上,需要手动同步服务器时间。命令:date -s '实时时间'