首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Arctic 自动优化湖仓原理解析

    Arctic 自动优化湖仓原理 Arctic 引入了一套 Self-optimizing 机制,目标是基于新型数据湖表格式打造像数据库,传统数据一样开箱即用的流式湖仓服务,Self-optimizing...Self-optimizing 的架构与工作机制如下图所示: AMS (Arctic Management Service) 是 Arctic 的中心管理服务,它负责规划所有表的 self-optimizing...Optimizer 是 self-optimizing 的执行组件,收到优化任务后负责具体的任务执行过程,最后再将执行结果上报给 AMS 后进行提交。...Full optimizing 会将所有的文件进行重写,重写过程会消除掉多有的 delete file。...Optimizing quota:每个表会被分配一个自动优化的配额,如果表上优化任务过多,导致配额被使用完则该表需要等待一段时间之后才能继续进行自动优化。

    50620
    领券