Apache Amoro(incubating) 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。
Amoro发展历程
2020 年,网易大数据团队在公司内基于 Apache Iceberg 进行湖仓一体架构的探索,希望基于 Apache Iceberg 为公司的业务搭建一套流批统一的存储层。在实践过程中孵化了流式湖仓服务 Arctic。
2021 年,团队陆续发布 Arctic 0.1/0.2 版本,并率先在网易云音乐算法团队落地,通过 Arctic 管理上百 PB 的数据。随后又在网易传媒、网易有道等业务落地,帮助业务达到了降本增效的目标。
2022 年 8 月,网易正式开源了 Arctic。项目开源后受到了众多企业和开发者的关注,越来越多的用户开始试用 Amoro,并开始上线到生产环境中。同时一些用户也转变为贡献者,共同参与到项目的建设中来。
2023 年 8 月,由于社区对 Arctic 的期望是一个湖仓场景下更加通用的系统,以及考虑到项目长期的发展,Arctic 正式更名为湖仓管理系统 Amoro,并发布新的LOGO和官网。
2024 年 3 月 11 日,为了更好的通过社区驱动技术的演进,网易正式将 Amoro 捐赠给 Apache 基金会,提案通过了 Apache 基金会的投票决议,正式进入 Apache 软件基金会(ASF,Apache Software Foundation)的孵化器,成为 ASF 的一个孵化项目。