Kafka数据迁移

kafka数据迁移方案

nieo nieo 发布于 2024-04-20

spark on k8s模式下kerberos认证报错

IllegalArgumentException(String.format("Server has invalid Kerberos principal: %s, expecting: %s", serverPrincipal, confPrincipal))

nieo nieo 发布于 2024-04-18

Hadoop大数据发展历程

hadoop体系从论文发布到生态体系的建设,历经20多年的蓬勃发展

nieo nieo 发布于 2024-04-11

Spark工具类——spark-submit

spark-submit是spark提交任务的工具。spark-submit可以提交任务到spark集群执行,也可以提交任务到hadoop的yarn集群执行。

nieo nieo 发布于 2024-04-10

Spark工具类——spark-shell

spark-shell是一种对spark程序交互式开发的途径。spark-shell提供了一种学习API的简单方式,以及一个能够进行交互式分析数据的强大工具,可以使用scala编写(scala运行与Java虚拟机可以使用现有的Java库)或使用Python编写。

nieo nieo 发布于 2024-04-10

Spark通信架构

Spark架构体系中,各个组件通过RPC协议通信。本文基于spark-3.5.1版本。

nieo nieo 发布于 2024-04-10

Spark Shuffle简述

Spark Shuffle用于将Map阶段的数据输出到Reduce阶段。

nieo nieo 发布于 2024-04-10

Kerberos认证简述

官网中对Kerberos的介绍是“Kerberos is a network authentication protocol. It is designed to provide strong authentication for client/server applications by using secret-key cryptography”。也就是说Kerberos是一个网络授权协议,主要通过密钥加密实现C/S应用的强授权。

nieo nieo 发布于 2024-04-07

Ranger Plugin启动及策略同步

Ranger Plugin无法独立存在,是伴随着服务进程的启动而存在的。

nieo nieo 发布于 2024-04-06

Kafka3.6.2版本信息

Kafka3.6.2版本内容和发布时间

nieo nieo 发布于 2024-04-06