DeepSeek数据处理框架Smallpond


发布于 2025-03-02 / 20 阅读 / 0 评论 /
Smallpond是基于3FS的数据处理框架

1.Smallpond概述

Smallpond官网定义为:A lightweight data processing framework built on DuckDB and 3FS.

译为:基于3FS和DuckDB的轻量级数据处理框架。

1.1.开源项目

开源项目地址:https://github.com/deepseek-ai/smallpond

完全由python实现。

2.Smallpond特点

Smallpond是轻量级的数据处理框架,其特点有:

(1)基于DuckDB的高性能数据处理

(2)可扩展性,能够处理PB级别数据集

(3)无需持续运行的服务,操作简便