spark参数——spark.yarn.jars和spark.yarn.archive

Spark on Yarn模式中,我们可以通过spark.yarn.jars和spark.yarn.archive预置spark jars到HDFS中,当提交spark任务时,就不需要把${SPARK_HOME}/jars目录下的jar包上传到hdfs中,可以大大降低spark任务提交过程耗时。

nieo nieo 发布于 2024-04-03

LDAP介绍

LDAP基本功能

nieo nieo 发布于 2024-04-03

文件组织数据结构篇——ISAM

Indexed Sequential Access Method,缩写为 ISAM

nieo nieo 发布于 2024-04-03

文件组织数据结构篇——LSM Tree

LSM Tree全称Log Structured-Merge Tree,译为日志结构的合并树。

nieo nieo 发布于 2024-04-03

Kafka服务端配置

本文基于kafka2.7源码,介绍Kafka服务端相关的配置,属性定义在类kafka.server.KafkaConfig.scala中,通过功能分类,可分为以下20个大类,共215个配置属性,下面分别进行介绍。

Administrator Administrator 发布于 2024-04-02

KafkaServer

基于kafka2.7源码,介绍kafka.server.KafkaServer.startup()方法

Administrator Administrator 发布于 2024-04-02

KafkaBroker启动过程

详解KafkaBroker启动过程,本文基于kafka2.7源码

Administrator Administrator 发布于 2024-04-01

Ranger Client策略下载过程

Ranger对策略下载请求发送和处理过程源码解析

Administrator Administrator 发布于 2024-03-28

Spark任务提交过程

Spark作为一个通用执行引擎,其任务提交过程与我们的工作生产息息相关。本文基于spark-3.5.1版本源码。

Administrator Administrator 发布于 2024-03-20

Spark Catalog设计

源码解读Spark Catalog

Administrator Administrator 发布于 2024-03-09