kafka允许使用SSL来加密传输的数据和认证信息。默认情况下是不使用SSL的,可在需要时开启SSL。
Kafka0.11.0.0版本内容和发布时间
Kafka Consumer Group Rebalance是分配topic的各个分区由哪些consumer进行消费的一种策略。在Kafka的演进过程中,Rebalance历经过多次设计改版
CPU架构、高速缓存、存储器
Yarn运行日志管理主要是NodeManager中Executor任务执行日志的管理。
Yarn设计有一种分布式缓存机制,把资源文件缓存到NodeManager,可以加速任务启动过程。
不同的Hive文件存储格式与压缩算法组合之后的计算效率压缩性能有较大差异。
Parquet是一种新型列式存储格式。
ORC全称为Optimized Row Columnar,优化列式存储。
Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。