kafka 名词概念__北方的雪_的博客-CSDN博客
kafka 名词概念
_北方的雪_
于 2017-03-09 19:24:31 发布
1648
收藏
分类专栏：
Kafka
文章标签：
bigdata
kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wingofeagle/article/details/60965723
版权
Kafka
专栏收录该内容
21 篇文章
0 订阅
订阅专栏
Producer Consumer BrokerTopicPartitionConsumer Group分布式
Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic（物理上不同Topic的消息分开存储[表现于日志落地]，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）。
一个topic是对一组消息的归纳，对每个topic，Kafka 对它的日志进行了分区，如下图
每个分区都由一系列
有序的、不可变的消息组成，这些消息被连续的追加到分区中。分区中的每个消息都有一个连续的序列号叫做
offset
,用来在分区中唯一的标识这个消息。
在一个可配置的时间段内，Kafka集群保留所有发布的消息，不管这些消息有没有被消费。比如，如果消息的保存策略被设置为2天，那么在一个消息被发布的两天时间内，它都是可以被消费的，之后它将被丢弃以释放空间。
实际上每个consumer唯一需要维护的数据是消息在日志中的位置，也就是offset.这个offset有consumer来维护：一般情况下随着consumer不断的读取消息，这offset的值不断增加，但其实consumer可以以任意的顺序读取消息，比如它可以将offset设置成为一个旧的值来重读之前的消息。
Partition
Parition是物理上的概念，每个Topic包含一个或多个Partition.
Producer
负责发布消息到Kafka broker，
Producer将消息发布到它指定的topic中,并负责决定发布到哪个分区（low API）。通常简单的由负载均衡机制随机选择分区，但也可以通过特定的分区函数选择分区。
Consumer
消息消费者，向Kafka broker读取消息的客户端.
发布消息通常有两种模式：队列模式（queuing）和发布-订阅模式(publish-subscribe)。
队列模式中，consumers可以同时从服务端读取消息，每个消息只被其中一个consumer读到；
发布-订阅模式中消息被广播到所有的consumer中。Consumers可以加入一个consumer 组，共同竞争一个topic，topic中的消息将被分发到组中的一个成员中。同一组中的consumer可以在不同的程序中，也可以在不同的机器上。如果所有的consumer都在一个组中，这就成为了传统的队列模式，在各consumer中实现负载均衡。如果所有的consumer都不在不同的组中，这就成为了发布-订阅模式，所有的消息都被分发到所有的consumer中。更常见的是，每个topic都有若干数量的consumer组，每个组都是一个逻辑上的“订阅者”，为了容错和更好的稳定性，每个组由若干consumer组成。这其实就是一个发布-订阅模式，只不过订阅者是个组而不是单个consumer。
相比传统的消息系统，Kafka可以很好的保证有序性。
传统的队列在服务器上保存有序的消息，如果多个consumers同时从这个服务器消费消息，服务器就会以消息存储的顺序向consumer分发消息。虽然服务器按顺序发布消息，但是消息是被异步的分发到各consumer上，所以当消息到达时可能已经失去了原来的顺序，这意味着并发消费将导致顺序错乱。为了避免故障，这样的消息系统通常使用“专用consumer”的概念，其实就是只允许一个消费者消费消息，当然这就意味着失去了并发性。
在这方面Kafka做的更好，通过分区的概念，Kafka可以在多个consumer组并发的情况下提供较好的有序性和负载均衡。将每个分区分只分发给一个consumer组，这样一个分区就只被这个组的一个consumer消费，就可以顺序的消费这个分区的消息。因为有多个分区，依然可以在多个consumer组之间进行负载均衡。注意consumer组的数量不能多于分区的数量，也就是有多少分区就允许多少并发消费。
Kafka只能保证一个分区之内消息的有序性，在不同的分区之间是不可以的，这已经可以满足大部分应用的需求。如果需要topic中所有消息的有序性，那就只能让这个topic只有一个分区，当然也就只有一个consumer组消费它。
Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）
分布式
每个分区在Kafka集群的若干服务中都有副本，这样这些持有副本的服务可以共同处理数据和请求，副本数量是可以配置的。副本使Kafka具备了容错能力。
每个分区都由一个服务器作为“leader”，零或若干服务器作为“followers”,
leader负责处理消息的读和写
，followers则去复制leader.如果leader down了，followers中的一台则会自动成为leader。集群中的每个服务都会同时扮演两个角色：作为它所持有的一部分分区的leader，同时作为其他分区的followers，这样集群就会据有较好的负载均衡。
_北方的雪_
关注
关注
点赞
收藏
打赏
评论
kafka 名词概念
ProducerConsumerBrokerTopicPartitionConsumer Group分布式Broker Kafka集群包含一个或多个服务器，这种服务器被称为brokerTopic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic（物理上不同Topic的消息分开存储[表现于日志落地]，逻辑上一
复制链接
扫一扫
专栏目录
Kafka名词解释
weixin_43520586的博客
12-21
547
一、Kafka名词解释：
1、producer：消息生产者，负责向kafka发送消息。
2、broker: kafka集群中一个节点，可以看成集群中的一个服务器。kafka由多个broker节点组成。
3、topic: producer发送到kafka的消息的类别，即对消息进行分类，kafka集群能够同时负责多个topic的分发
4、partition: topic在物理上的分区，一个topic可以分为一个或多个分区，每个partition是一个有序的队列。
5、replica: partition 的副本
matlab图像相嵌代码-matlab-apache-kafka:适用于ApacheKafka的MATLAB接口
05-26
matlab图像相嵌代码适用于Apache
Kafka的MATLAB接口
适用于ApacheKafka:registered:的MATLAB:registered:接口。
该软件包提供了用于MATLAB，Simulink和Embedded
Coder的Kafka客户端。
Kafka:registered:用于构建实时数据管道和流应用程序。
它是水平可伸缩的，容错的，快速的并且被广泛使用。
要求
需要MATLAB版本R2018a或更高版本。
使用Kafka
Client块时还需要Simulink。
目前仅Windows和Linux支持该软件包。
嵌入式编码器解决方案仅在Linux上受支持。
MathWorks产品（）
的MATLAB
[可选]
Simulink
[可选]
MATLAB
Coder
[可选]
Simulink编码器
[可选]嵌入式编码器
第三方产品
用于构建mex函数和S函数。
符合您的平台的AC
++编译器。
，版本1.0或更高版本
如librdkafka的安装中所声明的其他一些库。
[可选]
JSON库（如果您正在使用Simulink
JSON-Converter）。
介绍
是一个社区分布式事件流平台，能够每天处理数万亿个事件
评论 1
您还未登录，请先
登录
后发表或查看评论
【消息中间件】kafka技术探秘
最新发布
wangdong的博客
09-27
482
消息中间件，kafka技术概要，kafka设计思想，kafka架构相关名词概念，topic，partition，offset，ISR...
Kafka实践：到底该不该把不同类型的消息放在同一个主题中
cpongo5
08-18
148
如果你使用了像Kafka这样的流式处理平台，就要搞清楚一件事情：你需要用到哪些主题？特别是如果你要将一堆不同的事件作为消息发布到Kafka，是将它们放在同一个主题中，还是将它们拆分到不同的主题中？\\Kafka主题最重要的一个功能是可以让消费者指定它们想要消费的消息子集。在极端情况下，将所有数据放在同一个主题中可能不是一个好主意，因为这样消费者就无法选择它们感兴趣的事件——它们需要消费所有的消息。...
kafka术语
beishanyingluo的博客
05-18
438
1. kafka中术语介绍
Broker：kafka集群中包含一个或者多个服务实例，这种服务实例被称为Broker
Topic：每条发布到kafka集群的消息都有一个类别，这个类别就叫做Topic
Partition：Partition是一个物理上的概念，每个Topic包含一个或者多个Partition
Producer：负责发布消息到kafka的Broker中。
Consumer：消息消费者,向kafka的broker中读取消息的客户端
Consumer Group：每一个Consumer属于一个特定的C
【必会】Kafka基本概念(topic、partition、offset、broker、生产者、消费者、消费者组等)【知识点速记速查】
jiayoudangdang的博客
07-15
1715
消费者组是Kafka独有的概念，如果面试官问这个，就说明他对此是有一定了解的。官网上的介绍言简意赅，即消费者组是Kafka提供的可扩展且具有容错性的消费者机制；但实际上，消费者组(ConsumerGroup)其实包含两个概念作为队列，消费者组允许你分割数据处理到一组进程集合上(即一个消费者组中可以包含多个消费者进程，他们共同消费该topic'的数据），这有助于你的消费能力的动态调整；；在消费者组中，多个实例共同订阅若干个主题，实现共同消费。；注意；；；；，分区内消费有序；......
关于kafka常见名词解释，你了解多少？
m0_73311735的博客
09-03
342
对kafka常见名词有了一个整体的概念，我们还缺少一样东西，我们不能够对名词直接介绍，还需要对他们的整体结构做一定的了解。不然就犹如是空中楼阁，虚无缥缈的东西，容易让人云里雾里。下图，就是一个kafka系统所大致包含的一些结构，当然了，此图并不会面面俱到，只是针对全局做一些了解。
kafka基本名词解释大全
weixin_42324471的博客
12-13
849
话不多说，线上一张基本名词思维导图
Broker:
Kafka集群中包含一个或者多个服务器，每个服务器节点称为一个broker。
Producer：
生产者。即消息的发布者，其会将某topic的消息发布到相应的partition中。
Topic：
主题、逻辑概念，一类消息的标识。Kafka可以同时负责多个topic的分发。
Partition:
kafka 中 Topic 被分成多个 Partition 分区。Topic 是一个逻辑概念，Partition 是最小的存储单元，掌握着一个 Topic 的部分
【kafka】基本名词解释
qq_43460095的博客
08-04
41
消息的主题，每个broker上可以创建多个topic，一个topic可以横跨多个broker，kafka中的消息以topic进行分类，发送到kafka的每一个消息都要指定一个topic，消费者则负责订阅topic并消费。：偏移量，消息在被追加到分区的log文件的时候都会分配一个偏移量offset，这是消息在分区内的唯一表示，他可以保证消息在分区内是有序的，但他不是跨分区的（也就是说kafka可以保证分区有序而不是主题有序）在kafka的设计中，一个分区的数据只能被同一个消费者组的一个消费者消费。...
Kafka框架学习笔记 尚硅谷
weixin_43691773的博客
11-11
1507
Kafka框架学习笔记 尚硅谷
因为本人不是大数据方向的 但是公司一个项目用到了kafka 我就学习一下 如果笔记有什么不对的地方 敬请谅解
文章目录Kafka框架学习笔记 尚硅谷因为本人不是大数据方向的 但是公司一个项目用到了kafka 我就学习一下 如果笔记有什么不对的地方 敬请谅解Kafka概述定义传统消息队列的应用场景使用消息队列的好处消息队列的Kafka基础框架构Kafka快速入门安装操作命令命令行控制台生产者消费者测试数据日志分离Kafka高级工作流程文件存储机制Kafka生产者分区策略生产
JavaEE 企业级分布式高级架构师（十二）Kafka学习笔记（1）
yangwei2048的博客
08-04
157
kafka学习笔记概述篇为什么有消息系统异步处理解耦流量消峰消息队列其它好处Kafka简介Kafka特性kafka系统架构应用场景消息系统MessagingWeb站点活动追踪Website Activity Tracking数据监控Metrics日志聚合Log Aggregation流处理Stream Processiong事件源Event Sourcing提交日志Commit Logkafka高吞吐率实现ZooKeeper作用Kafka基础操作集群搭建kafka的下载安装并配置第一台主机安装另外两台kaf
kafka 中的名词解释
u010325193的博客
06-12
1531
kafka名词解释和工作方式：Producer ：消息生产者，就是向kafka broker发消息的客户端。Consumer ：消息消费者，向kafka broker取消息的客户端Topic ：咋们可以理解为一个队列。Consumer Group （CG）：若干个Consumer组成的集合。这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consum...
Kafka术语解释
rhwayfun专栏
07-31
2672
前一篇文章介绍了如何使用kafka收发消息，但是对于kafka的核心概念并没有详细介绍，这里将会对包括kafka基本架构以及消费者、生产者API涉及的术语进行说明。了解这些术语有助于更深入理解kafka。
broker
topic
stream
partition
offset
producer
consumer
consumer group
KafKa(二)：具体名词概念
风之子
04-04
258
一、kafka流程图
二、具体概念
producer: 生产者即数据的发布者，该角色将消息发布到kafka的topic中，broker接收到生产者发布的消息后，broker将该消息追加到当前用于追加数据的segment文件中，生产者发送的消息，存储到一个partition中，生产者也可以指定存储的partition。
consumer:消费者可以从broker中读取数据，消费者可以消费多...
kafka 名词解释
zona
01-25
668
生产者(producer): 构造需要处理的信息, 并发给broker
消费者(consumer): 处理生产者构造的信息, 从broker中拉取需要处理的信息
经纪人(broker):kafka实例, 消息数据存放在broker中, 解耦生产者和消费者
主题(topic): 逻辑上的一个概念, 消息通过主题来分类
分区(partition): 主题可以细分为分区, 一个主题可以有多个分...
kafka中常用名词介绍
qq_44862918的博客
04-26
98
kafka目前查阅了许多资料，更多的人把kafka作为消息中间件使用。来实现解耦。
其实很简单，就是把相关的任务作为消息发送给kafka，然后以广播的形式发送到下游，由于任务是以消息发送，所以如果出现问题，就不会再需要到kafka的上游去处理，只需要到kafka中去处理消息任务即可。
生产者producer
消费者consumer
消费者组consumer group
broker
topic
partition
replica
leader
follower
-------------------.
Kafka基础介绍和名词解释
u011374423的博客
04-26
413
kafka是一个高吞吐的分布式消息系统，底层使用消息队列机制。消息队列常用于系统之间解耦合、峰值压力缓冲、异步通信。kafka的消息队列保证自己不丢数据（kafka接收数据不经内存，直接通过“零拷贝”写入到文件），消费者不丢数据（至少一次，严格一次），kafka会记录消费者读取数据的“offset”位置。
kafka的结构
producer：消息生产者
consumer：消息消费者
b...
漫游Kafka入门篇之简单介绍
热门推荐
红磊的专栏
07-09
1万+
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumers.
Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
碎纸片拼接问题所有的matlab代码
07-07
希望能为哪些找不到代码的同学提供帮助，这个是我整理的碎纸片问题中提取的代码。
kafka的一些名词
weixin_34162401的博客
04-16
113
broker.id
区kafka集群中每台机器的标识
log.dirs
日志的存放目录，这个最好不要放到/tmp目录下，因为kafka的已被消费和未被消费的数据也被当成“日志”存放到了日志目录，；
log.retention.hours log.segment.bytes log.retention.check.interval.ms log.cleaner.enable=fal...
kafka 名词解释及原理解析过程
weixin_34061555的博客
06-27
178
一．Kafka的名词解释
1.topic (主题)
topic相当于传统消息系统MQ中的一个队列queue，producer端发送的message必须指定是发送到哪个topic上.在一个大型的应用系统中，可以根据功能的不同，区分不同的topic(订单的topic,登录的topic,金额的topic等等)
2.partition(分区)
一个topic下面可以有多个...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
_北方的雪_
CSDN认证博客专家
CSDN认证企业博客
码龄10年
暂无认证
132
原创
14万+
周排名
87万+
总排名
30万+
访问
等级
4323
积分
53
粉丝
49
获赞
评论
172
收藏
私信
关注
热门文章
kafka持久化原理
17615
kafka rebalance机制
17288
kafka消息与同步机制
14082
Heap Corruption Detected解决方法
11137
kafka容灾机制
10671
分类专栏
C/C++/STL
38篇
windows&linux
25篇
web
2篇
Travel
5篇
Algorithm&DS
38篇
ML&PR&DM
26篇
Comprehensiveness
3篇
CG&CV
17篇
Thread Learning
5篇
Python&R
4篇
Java
4篇
DB
7篇
BigData
2篇
Others
5篇
MFC
12篇
综合
2篇
Kafka
21篇
最新评论
数据结构之（动态规划二）之<矩阵链乘法>
遥Haruka:
转载的吧。。也不注明
Heap Corruption Detected解决方法
被bug烦的小狐西里:
感谢大佬，我的问题是链表数组越界问题 已经解决了！
数据结构之（二叉树）代码
菜中菜...:
StrAssign(String T,char *chars)，请问这个是什么意思？
数据结构之（图存储结构之）邻接矩阵
Exceirdo:
请问"stdafx.h"是哪里的文件呢？
kafka 名词概念
古 林:
学习了.
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
kafka监控工具
kafka 版本迭代递进
常用MessageQueue及特点
2017年22篇
2014年32篇
2013年147篇
2012年1篇
目录
目录
分类专栏
C/C++/STL
38篇
windows&linux
25篇
web
2篇
Travel
5篇
Algorithm&DS
38篇
ML&PR&DM
26篇
Comprehensiveness
3篇
CG&CV
17篇
Thread Learning
5篇
Python&R
4篇
Java
4篇
DB
7篇
BigData
2篇
Others
5篇
MFC
12篇
综合
2篇
Kafka
21篇
目录
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
_北方的雪_
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值