INFO-amoro表操作流程
更新时间: 2024-09-04 10:52:28
阅读 200
INFO-amoro表操作流程
适用模块
amoro——实时具体说明
0.3X版本 amoro平台使用示例
一、关于创建和使用hive表必须是parquet存储格式才能升级
离线仅支持读arctic表 不支持写acrtic表
和flink引擎交替写可能对表文件损坏
创建升级后 可以/仅可以 通过三元组方式 写入数据( Flink )
1、实时 仅支持Flink 写入数据
2、不支持 hive/spark 引擎 写入数据 仅支持使用离线引擎去读
3、自助分析重建表后,再通过离线方式将数据灌入重新升级成arctic表再去使用flink 写
(我们建议是超过10G的表需要设置分区每个分区的大小建议不要超过1G 不然会有延迟)
二、变更和删除
arctic表本身不支持 rename
操作必须按照流程操作 仅支持Spark引擎、自助分析操作
1、三元组格式 hive_catalog.db_name.table_name 自助分析:drop table hive_catalog.db_name.table_name 会将 hdfs目录下的数据 和 arctic元数据 一并删除
2、外部表 drop table 只会删除元数据信息 不会删除映射到的 内部hdfs路径
3、想要rename 只能通过 SQL节点 spark引擎通过 三元组的格式spark读出到一张没有升级过的hive表里 导完后 再把新表做升级 (新表要是parquet存储)
一切变更操作 建议在 自助分析进行(spark 引擎 三元组格式)
作者:华柄印
文档反馈
以上内容对您是否有帮助?