Kafka


参数名 描述 示例
brokerlist kafka连接地址,必填,多个域名逗号分隔 kafka0.jd.163.org:9092,kafka29.jd.163.org:9092
zookeeperConnect zk地址,选填,多个域名空格分隔 kafka0.jd.163.org:2181 kafka1.jd.163.org:2181 kafka2.jd.163.org:2181/kafmusicjd
mode Kafka数据源链接认证方式,必填,目前支持’none’和’password’两种,选择’password’ 代表开启SASL安全认证,需要额外添加安全认证参数; none/password
sasl.mechanism sasl机制名称,若开启sasl必填 scram-sha-256/scram-sha-512
security.protocol Kafka的安全协议,若开启sasl必填 PLAINTEXT/SASL_PLAINTEXT/SASL_SSL/SSL
sasl.jass.config sasl配置信息,若开启sasl必填 org.apache.kafka.common.security.plain.PlainLoginModule required username=”other1” password=”fzw395m23o”

说明:sasl.jass.config 中需要直接将账号密码跟在后面,并对具体文本内容加英文双引号区分。
数据源登记参数配置参考 - 图1

RocketMQ


参数名 描述 示例
nameserverAddr rocketmq连接地址,多个域名逗号分隔 test1.dg.163.org:9876:test2.dg.163.org:9876

Kudu


参数名 描述 示例
master kudu master地址,多个域名逗号分隔 kudu1.jd.163.org:7051 kudu2.jd.163.org:7051 kudu3.jd.163.org:7051

ElasticSearch


参数名 描述 示例
host es host地址,多个域名逗号分隔 es-1.jd.163.org:9201 es-2.jd.163.org:9201 es-3.jd.163.org:9201 es-4.jd.163.org:9201 es-5.jd.163.org:9201

HBase


参数名 描述 示例
hbase.zookeeper.quorum hbase连接地址,多个域名逗号分隔 hbase18.hz.163.org,hbase19.hz.163.org,hbase20.hz.163.org
zookeeper.znode.parent zk的parent node /hbase

Redis


Redis cluster 模式

参数名 描述 示例
address redis集群地址,多个域名分号分隔 10.1.1.1:31244;10.1.1.12:31244;10.1.1.13:31244

Redis 哨兵模式

参数名 描述 示例
sentinelAddress 哨兵集群地址 多个分号分隔 10.1.1.1:26000;10.1.1.13:26000;10.1.1.14:26000
sentinelMaster 哨兵模式master,多个分号分隔 Test6001;Test6002;Test6003
password 密码,如果有的话在填 test_password

DDB


请注意连接方式为DBI,不是QS

参数名 描述 示例
url 连接url 172.17.3.117:48888
user 用户名 sqoop
password 密码 test
driver connect driver com.netease.backend.db.DBDriver

MySQL


参数名 描述 示例
url 连接url jdbc:mysql://10.201.152.26:3306/datamap?characterEncoding=utf-8
user 用户名 sqoop
password 密码 test
driver connect driver com.mysql.jdbc.Driver

Oracle


参数名 描述 示例
url 连接url jdbc:oracle:thin:@db.yq.163.org:9521:yyybi
user 用户名 sqoop
password 密码 test
driver connect driver oracle.jdbc.driver.OracleDriver

Hive(HiveExt)


目前实时已经支持在数据源中配置hive数据源,用户需要选择hiveExt类型进行连接信息的配置。

参数名 描述 示例
metastore.uris Hive Metastore的thrift连接地址,必填,对应前端界面metastoreUris thrift://ip1:port1,thrift://ip2:por2
metastore.jdbc.url metastore的jdbc连接地址,必填,对应前端界面metastoreDB连接 jdbc:mysql://localhost:3306/sys?characterEncoding=utf-8
metastore.jdbc.user metastore的jdbc用户名,必填,对应前端界面DB连接用户名 root
metastore.jdbc.password metastore的jdbc密码,必填,对应前端界面db连接密码 password
hdfs.url hdfs地址,必填,对应前端界面defaultFS hdfs://hz10-cluster
url hive的url,必填,对应前端界面数据源连接 jdbc:hive2://datastream96.jd.163.org:2181/
mode hive的认证方式,必填,对应前端界面认证方式,支持simple/password/kerberos三种 simple/password/kerberos
user password认证必须,hive的user,对应前端界面用户名密码里 root
password password认证必须,hive的password,对应前端界面用户名密码认证里 password
krb5.conf.path kerberos认证必填,对应前端界面krb5.conf
keytab.file.path kerberos认证必填,对应前端界面keytab
principal kerberos认证必填,对应前端界面principal
hdfs.extend.param hdfs高可用等扩展参数,必填,对应前端扩展参数,jsonString字符串
version Hive版本,必填 2.1