Kafka学习笔记 - 0 - 基本介绍

Posted by WZhong on Sunday, August 28, 2022

TOC

为什么用它

  • 流处理平台,处理流式数据
  • 高吞吐量消息队列
  • 高性能、高可用

要会什么

  • 熟练使用
  • 核心API + 原理
  • 项目实战 + 配置经验
  • 底层实现 + 面试点

Outline

  • 入门
    • Zookeeper、Kafka安装部署
    • 启停、控制台操作
    • Topic 和 Partition
  • 核心API解读及开发
    • Producer
    • Consumer
    • Stream
    • Connection
  • 底层实现
    • 日志存储机制
    • 偏移量
    • 主题订阅与故障发现
  • 设计原理
    • 持久性
    • 高效率
    • 消息传递保障
    • 副本集
    • Leader选举
    • 日志压缩
  • 集群配置
    • Kafka拓扑结构
    • Zookeeper在Kafka中的应用
  • 集群监控
    • KafkaManager安装、使用
    • SSL加密和认证
  • 实战
    • Kafka消息服务
    • SpringCloud Config
    • SpringCloud Bus
    • SpringCloud Bus整合Kafka
  • 经验之谈
    • 常见面试点
    • Kafka实战最佳配置方式推荐

项目架构

  • 微信小程序前端 <–数据读取保存–> 后端

  • 后端

    • <–数据保存–> Kafka集群 <–集群协调–> Zookeeper
    • <–动态配置更新–> SpringCloud Config
  • SpringCloud Bus

    • <–消息总线–> SpringCloud Config
    • <–消息总线–> Kafka集群
    • <–动态配置更新–> Github

基本概念

  • Topic:一个虚拟的概念,由一到多个Partitions组成
  • Partition:实际消息存储单位
  • Producer:消息生产者
  • Consumer:消息消费者

「真诚赞赏,手留余香」

WZhong

真诚赞赏,手留余香

使用微信扫描二维码完成支付