库表元数据
库表元数据体系包含catalog、database、table,如下图所示:
注册catalog时往catalog_metadata插入数据,并自动扫描catalog,获取catalog下database和table数据,插入对应的表中。
优化器和资源组
amoro的优化由优化器来实现,优化器在资源组中运行。相关的数据结构如下图所示:
resource_group资源组定义了优化器运行的环境,比如yarn集群、k8s集群等
resource资源定义了优化器所需要的资源。
optimizer优化器表示一个具体的优化任务。
优化表元数据
优化的基本单元是表,优化表记录的表结构如下:
table_runtime表示需要优化的表信息,table_metadata中保存访问此表所需要的信息,比如表的存储介质的配置信息。
优化任务和表
优化器和表的关系如下所示:
table_optimizing_process表示具体的优化器进程,可对具体的某张表进行优化。
辅助表
Amoro有两张辅助表,结构如下
api_tokens中定义了token信息
platform_file定义了平台所需要的文件内容信息。