大数据 Kerberos

Kerberos认证过程debug日志

sun.security.krb5.debug控制kerberos认证的debug日志

nieo 发布于 2024-05-09

Ranger初始化Patch机制

Ranger在初始化时，会进行一系列的数据库操作，以完成服务运行所需的基础环境配置。本文基于ranger-2.4.0。

nieo 发布于 2024-04-25

Hive存储处理器的实现，本文基于Hive-4.0.0

nieo 发布于 2024-04-23

大数据 Livy

Livy提供restful接口进行交互式spark任务的机制

nieo 发布于 2024-04-21

Spark任务在执行过程中，会产生大量的Event，是用来记录任务的执行过程的。这些Event会被记录到DistributedFileSystem中，随着时间的积累，这些在dfs中的记录需要被清理，这就是清理机制需要完成的工作。

nieo 发布于 2024-04-21

大数据 Kafka

kafka数据迁移方案

nieo 发布于 2024-04-20

IllegalArgumentException(String.format("Server has invalid Kerberos principal: %s, expecting: %s", serverPrincipal, confPrincipal))

nieo 发布于 2024-04-18

大数据 Hadoop

hadoop体系从论文发布到生态体系的建设，历经20多年的蓬勃发展

nieo 发布于 2024-04-11

大数据 Spark

spark-submit是spark提交任务的工具。spark-submit可以提交任务到spark集群执行，也可以提交任务到hadoop的yarn集群执行。

nieo 发布于 2024-04-10

大数据 Spark

spark-shell是一种对spark程序交互式开发的途径。spark-shell提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Python编写。

nieo 发布于 2024-04-10