连接数据并建模

在建立数据分析报告前,我们需要先将数据连接至网易有数,这包含两个步骤:建立数据连接➡建立数据模型。

▚ 在使用 Elasticsearch 数据源时,有些需要注意的问题

① 要求 Elasticsearch 版本为6.3以上,并且开启了 xpack 的 SQL 支持 ② 针对 Elasticsearch 数据源的认证方式有数支持两种:无/用户名密码

连接数据并建模 - 图1

③ 只有 mapping 中每个 field 与 type 一一对应,与 RDB 中建模相同形式的 index 才能够在有数中使用

例如:

  1. {
  2. "mock_table_1": {
  3. "mappings": {
  4. "properties": {
  5. "A": {
  6. "type": "keyword"
  7. },
  8. "SA": {
  9. "type": "long"
  10. },
  11. "T": {
  12. "type": "date"
  13. }
  14. }
  15. }
  16. }
  17. }

④ 若mapping 中包含嵌套的结构,有数无法明确获取其 schema, 这样的 index 便不能在有数中使用

例如:

  1. {
  2. ".kibana_1": {
  3. "mappings": {
  4. "doc": {
  5. "dynamic": "strict",
  6. "properties": {
  7. "config": {
  8. "dynamic": "true",
  9. "properties": {
  10. "buildNum": {
  11. "type": "keyword"
  12. }
  13. }
  14. },
  15. "updated_at": {
  16. "type": "date"
  17. }
  18. }
  19. }
  20. }
  21. }
  22. }