Kafka商业化公司——Confluent


发布于 2025-08-09 / 97 阅读 / 0 评论 /
Kafka商业化公司在Kafka社区的贡献以及对Kafka发展方向的探索

Confluent Platform

Confluent 是一家专注动态数据(Data In Motion)的公司,以开源技术 Apache Kafka 为核心打造实时的消息流平台。

Confluent Platform 是一个综合性的企业级数据流处理平台,用户能够以实时、连续的流形式,轻松地访问、存储和管理数据。它由 Apache Kafka 的原始创建者开发,不仅继承了 Kafka 的核心优势,还通过增加企业级特性来扩展其功能,同时大幅降低了对 Kafka 的管理和监控压力。Confluent Platform 通过引入高级特性,进一步增强了 Kafka 的能力,旨在加快应用程序的开发和集成,通过流处理实现数据转换,简化大规模的企业级操作,并满足严格的体系结构要求。

Confluent Platform 已广泛应用于众多行业,如金融服务、全渠道零售、自动驾驶、欺诈监测、微服务和物联网等。

Confluent Platform完整架构如下图所示:

来自官网:https://docs.confluent.io/platform/current/get-started/platform.html

功能对比

Confluent Platform与开源社区Kafka功能特性对比如下表所示:

功能类型

功能项

功能项说明

Confluent Platform是否支持

开源社区Kafka是否支持

连接器支持

Connect

Connect

是

是

流支持

Stream

Stream

是

是

多语言开发

Clients

C++、Python、Go、.Net客户端支持

是

否

REST Proxy

任何联网设备都可以通过Rest接口连接Kafka

是

否

Admin Rest API

通过Rest接口对Kafka集群进行管理

是

否

丰富的生态

Connectors

支持100多种连接器,包括S3、Elasticsearch、HDFS、JDBC等

是

否

MQTT proxy

通过MQTT设备和网关访问Kafka

是

否

Schema Registry

数据结构注册中心,保障数据的结构兼容性

是

否

事件流数据库

ksqlDB

实时流处理和物化视图

是

否

GUI驱动的管理和监控

Control Center

GUI页面管理和监控Kafka

是

否

Health

智能告警和云上监控看板

是

否

自动化弹性DevOps工具

Confluent for Kubernetes

提供完整的声明式API部署在k8s上

是

否

Ansible

自动化部署和非中心化环境

是

否

动态性能和弹性

自平衡的集群

自动进行Broker间分区重分布

是

否

分级存储

当鲜有访问请求时,将旧的kafka数据放到对象存储

是

否

企业级安全

基于角色的访问控制

基于用户和用户组进行授权访问控制

是

否

结构化的审计日志

用户行为日志存储在专门的topic中

是

否

密钥保护

敏感信息加密处理

是

否

全球的容灾

多分区集群

单个kafka集群可横跨多个数据中心,实现客户端自动化故障转移

是

否

备份

跨数据中心的副本可用于数据迁移

是

否

集群连接

为高级云和多云部署环境提供offset保留的备份

是

否

企业级支持

专家支持

365*24全年24小时提供Kafka专家支持

是

否