新建离线表
更新时间: 2022-01-04 15:26:15
阅读 180
新建离线表
1-切换表单模式建表&SQL模式建表 2-选择Hive库,给定Hive表名称 3-开关Impala同步;选择表类型;指定HDFS路径 4-支持“手动添加字段”和“从内容中解析”两种模式切换;“手动添加字段”,可对字段进行添加、编辑、删除处理;“从内容中解析”,目前支持四种内容格式:JSON,AccessLog,自定义分隔符,正则匹配 5-支持启用分区表,新增分区字段 6-选择HDFS文件存储格式,支持类型有:TEXTFILE、SEQUENCEFILE、ORC、PARQUET、AVRO 7-支持配置完成后预览效果 8-支持SQL方式自助建表
“从内容中解析”模式
目前支持的内容解析方式有四种:JSON,AccessLog,自定义分隔符,正则匹配
- JSON
- 数据来源中支持“自定义”和“DS收集的日志文件”
- 数据格式选择“JSON”
- 通过给定的数据样例,解析出对应的字段
- 解析出对应的列名
- 可删除根据样例解析出的字段
- AccessLog
- 数据来源中支持“自定义”和“DS收集的日志文件”
- 数据格式选择“AccessLog”
- 提供一行Access日志的数据样例,点击”解析”按钮
- 手动命名字段
- 可删除根据样例解析出的字段
- 自定义分隔符
- 数据来源中支持“自定义”和“DS收集的日志文件”
- 数据格式选择“自定义分隔符”
- 选择列分隔符,比如逗号
- 提供一行数据样例,点击”解析”按钮,通过给定的数据样例,解析出对应的字段作为字段命名的参考
- 手动命名列名
- 可删除根据样例解析出的字段
- 正则表达式
- 数据来源中支持“自定义”和“DS收集的日志文件”
- 数据格式选择“正则匹配”
- 提供匹配整行的正则表达式
- 提供一行数据样例,点击”解析”按钮,通过给定的数据样例,解析出对字段作为字段命名的参考
- 手动命名字段
- 可删除根据样例解析出的字段
表生命周期设置
表或者分区会在从创建时间开始的N天后,自动删除
- 当选择内部表时,可以设置表生命周期,默认永久,可自定义
- 当启用分区时,可以设置所有分区的生命周期,默认永久,可自定义
文档反馈
以上内容对您是否有帮助?