1.Smallpond概述
Smallpond官网定义为:A lightweight data processing framework built on DuckDB and 3FS.
译为:基于3FS和DuckDB的轻量级数据处理框架。
1.1.开源项目
开源项目地址:https://github.com/deepseek-ai/smallpond
完全由python实现。
2.Smallpond特点
Smallpond是轻量级的数据处理框架,其特点有:
(1)基于DuckDB的高性能数据处理
(2)可扩展性,能够处理PB级别数据集
(3)无需持续运行的服务,操作简便