Kafka商业化公司——Confluent


发布于 2025-08-09 / 3 阅读 / 0 评论 /
Kafka商业化公司在Kafka社区的贡献以及对Kafka发展方向的探索

Confluent Platform

Confluent 是一家专注动态数据(Data In Motion)的公司,以开源技术 Apache Kafka 为核心打造实时的消息流平台。

Confluent Platform 是一个综合性的企业级数据流处理平台,用户能够以实时、连续的流形式,轻松地访问、存储和管理数据。它由 Apache Kafka 的原始创建者开发,不仅继承了 Kafka 的核心优势,还通过增加企业级特性来扩展其功能,同时大幅降低了对 Kafka 的管理和监控压力。Confluent Platform 通过引入高级特性,进一步增强了 Kafka 的能力,旨在加快应用程序的开发和集成,通过流处理实现数据转换,简化大规模的企业级操作,并满足严格的体系结构要求。

Confluent Platform 已广泛应用于众多行业,如金融服务、全渠道零售、自动驾驶、欺诈监测、微服务和物联网等。

Confluent Platform完整架构如下图所示:

来自官网:https://docs.confluent.io/platform/current/get-started/platform.html

功能对比

Confluent Platform与开源社区Kafka功能特性对比如下表所示:

功能类型

功能项

功能项说明

Confluent Platform是否支持

开源社区Kafka是否支持

连接器支持

Connect

Connect

流支持

Stream

Stream

多语言开发

Clients

C++、Python、Go、.Net客户端支持

REST Proxy

任何联网设备都可以通过Rest接口连接Kafka

Admin Rest API

通过Rest接口对Kafka集群进行管理

丰富的生态

Connectors

支持100多种连接器,包括S3、Elasticsearch、HDFS、JDBC等

MQTT proxy

通过MQTT设备和网关访问Kafka

Schema Registry

数据结构注册中心,保障数据的结构兼容性

事件流数据库

ksqlDB

实时流处理和物化视图

GUI驱动的管理和监控

Control Center

GUI页面管理和监控Kafka

Health

智能告警和云上监控看板

自动化弹性DevOps工具

Confluent for Kubernetes

提供完整的声明式API部署在k8s上

Ansible

自动化部署和非中心化环境

动态性能和弹性

自平衡的集群

自动进行Broker间分区重分布

分级存储

当鲜有访问请求时,将旧的kafka数据放到对象存储

企业级安全

基于角色的访问控制

基于用户和用户组进行授权访问控制

结构化的审计日志

用户行为日志存储在专门的topic中

密钥保护

敏感信息加密处理

全球的容灾

多分区集群

单个kafka集群可横跨多个数据中心,实现客户端自动化故障转移

备份

跨数据中心的副本可用于数据迁移

集群连接

为高级云和多云部署环境提供offset保留的备份

企业级支持

专家支持

365*24全年24小时提供Kafka专家支持