大数据 Spark

SparkSQL SHOW语句执行过程

SparkSQL中，我们可以通过SHOW来查看table、database、namespace、catalog的列表。

nieo 发布于 2024-08-01

大数据 Kafka

KafkaConsumer消息消费过程

本文基于kafka3.6.0源码，从源码级别解析Kafka消息消费过程

nieo 发布于 2024-07-31

大数据 Kafka

基于kafka3.6.0源码，解析KafkaProducer生产消息过程

nieo 发布于 2024-07-31

本文基于Hadoop-3.5.0，解读Yarn的状态机

nieo 发布于 2024-07-30

Knox代理Spark History WebUI的问题

nieo 发布于 2024-07-30

通过Yarn Client模式提交Spark任务，任务结束后，driver进程无法结束，一直阻塞。如果大量提交Spark任务，服务器中就会有大量的SparkSubmit进程，最终导致机器内存溢出。

nieo 发布于 2024-07-28

大数据 HDFS

大数据面试过程有关HDFS的常见面试题

nieo 发布于 2024-07-24

大数据 Yarn

Yarn基础架构和高可用架构

nieo 发布于 2024-07-22

大数据 HDFS

HDFS架构经历过几次挑战

nieo 发布于 2024-07-20

大数据 HDFS

HDFS作为文件系统，读和写是最基本的流程。

nieo 发布于 2024-07-20