新建离线表

新建离线表 - 图1 WechatIMG104.png

新建离线表 - 图3 WechatIMG63.png

1-切换表单模式建表&SQL模式建表 2-选择Hive库,给定Hive表名称 3-开关Impala同步;选择表类型;指定HDFS路径 4-支持“手动添加字段”和“从内容中解析”两种模式切换;“手动添加字段”,可对字段进行添加、编辑、删除处理;“从内容中解析”,目前支持四种内容格式:JSON,AccessLog,自定义分隔符,正则匹配 5-支持启用分区表,新增分区字段 6-选择HDFS文件存储格式,支持类型有:TEXTFILE、SEQUENCEFILE、ORC、PARQUET、AVRO 7-支持配置完成后预览效果 8-支持SQL方式自助建表

“从内容中解析”模式

目前支持的内容解析方式有四种:JSON,AccessLog,自定义分隔符,正则匹配

  • JSON

新建离线表 - 图5 createtable2-3.png

  1. 数据来源中支持“自定义”和“DS收集的日志文件”
  2. 数据格式选择“JSON”
  3. 通过给定的数据样例,解析出对应的字段
  4. 解析出对应的列名
  5. 可删除根据样例解析出的字段
  • AccessLog

新建离线表 - 图7 createtable2-4.png

  1. 数据来源中支持“自定义”和“DS收集的日志文件”
  2. 数据格式选择“AccessLog”
  3. 提供一行Access日志的数据样例,点击”解析”按钮
  4. 手动命名字段
  5. 可删除根据样例解析出的字段
  • 自定义分隔符

新建离线表 - 图9 createtable2-5.png

  1. 数据来源中支持“自定义”和“DS收集的日志文件”
  2. 数据格式选择“自定义分隔符”
  3. 选择列分隔符,比如逗号
  4. 提供一行数据样例,点击”解析”按钮,通过给定的数据样例,解析出对应的字段作为字段命名的参考
  5. 手动命名列名
  6. 可删除根据样例解析出的字段
  • 正则表达式

新建离线表 - 图11 createtable2-6.png

  1. 数据来源中支持“自定义”和“DS收集的日志文件”
  2. 数据格式选择“正则匹配”
  3. 提供匹配整行的正则表达式
  4. 提供一行数据样例,点击”解析”按钮,通过给定的数据样例,解析出对字段作为字段命名的参考
  5. 手动命名字段
  6. 可删除根据样例解析出的字段

表生命周期设置

新建离线表 - 图13 createtable2-7.png

表或者分区会在从创建时间开始的N天后,自动删除

  1. 当选择内部表时,可以设置表生命周期,默认永久,可自定义
  2. 当启用分区时,可以设置所有分区的生命周期,默认永久,可自定义