INFO-amoro表操作流程

适用模块
amoro——实时
具体说明
0.3X版本 amoro平台
使用示例
一、关于创建和使用

hive表必须是parquet存储格式才能升级

离线仅支持读arctic表 不支持写acrtic表
和flink引擎交替写可能对表文件损坏

创建升级后 可以/仅可以 通过三元组方式 写入数据( Flink )


1、实时 仅支持Flink 写入数据

2、不支持 hive/spark 引擎 写入数据 仅支持使用离线引擎去读

3、自助分析重建表后,再通过离线方式将数据灌入重新升级成arctic表再去使用flink 写

(我们建议是超过10G的表需要设置分区每个分区的大小建议不要超过1G 不然会有延迟)


二、变更和删除

arctic表本身不支持 rename

操作必须按照流程操作 仅支持Spark引擎、自助分析操作

1、三元组格式 hive_catalog.db_name.table_name 自助分析:drop table hive_catalog.db_name.table_name 会将 hdfs目录下的数据 和 arctic元数据 一并删除

2、外部表 drop table 只会删除元数据信息 不会删除映射到的 内部hdfs路径

3、想要rename 只能通过 SQL节点 spark引擎通过 三元组的格式spark读出到一张没有升级过的hive表里 导完后 再把新表做升级 (新表要是parquet存储)

一切变更操作 建议在 自助分析进行(spark 引擎 三元组格式)


作者:华柄印