大数据 Spark

Spark参数——spark.driver.host

本文基于spark3.5

nieo 发布于 2024-05-16

大数据 Kafka

Kafka数据文件系统结构

基于kafka2.8.0版本，描述kafka文件系统结构

nieo 发布于 2024-05-15

大数据 Kafka

本文基于kafka-2.8.0和kafka-3.5.0，探讨kafka集群id的生成逻辑的演变

nieo 发布于 2024-05-14

大数据 Kafka

描述Kafka命令行操作，以及当前支持的使用场景，这对评估客户需求以及实现方案的可行性特别重要。

nieo 发布于 2024-05-11

大数据 Kafka

当前kafka最新版本是3.6.0。本文主要讲述三个配置：listeners、advertised.listeners、listener.security.protocol.map

nieo 发布于 2024-05-09

大数据 Kerberos

sun.security.krb5.debug控制kerberos认证的debug日志

nieo 发布于 2024-05-09

Ranger在初始化时，会进行一系列的数据库操作，以完成服务运行所需的基础环境配置。本文基于ranger-2.4.0。

nieo 发布于 2024-04-25

Hive存储处理器的实现，本文基于Hive-4.0.0

nieo 发布于 2024-04-23

大数据 Livy

Livy提供restful接口进行交互式spark任务的机制

nieo 发布于 2024-04-21

Spark任务在执行过程中，会产生大量的Event，是用来记录任务的执行过程的。这些Event会被记录到DistributedFileSystem中，随着时间的积累，这些在dfs中的记录需要被清理，这就是清理机制需要完成的工作。

nieo 发布于 2024-04-21