十四：kafka的topic创建和解析_魏忠贵的博客-CSDN博客
十四：kafka的topic创建和解析
魏忠贵
于 2019-02-03 21:10:26 发布
1213
收藏
分类专栏：
kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weizhonggui/article/details/86754922
版权
kafka
专栏收录该内容
3 篇文章
0 订阅
订阅专栏
一：检查kafka是否成功：
创建topic，如能成功创建topic则表示集群安装完成， 也可以用jps命令查看kafka进程是否存在
bin/kafka-topics.sh \
--create \
--zookeeper 172.17.4.16:2181,172.17.4.17:2181,172.17.217.124:2181/kafka \
--replication-factor 3 \
--partitions 3 \
--topic test
bin/kafka-topics.sh \
--list \
--zookeeper 172.17.4.16:2181,172.17.4.17:2181,172.17.217.124:2181/kafka
二：topic 解析：
bin/kafka-topics.sh \
--describe \
--zookeeper 172.17.4.16:2181,172.17.4.17:2181,172.17.217.124:2181/kafka \
--topic kunming
三：删除topic
delete.topic.enable=ture
bin/kafka-topics.sh --delete \
--zookeeper 172.17.4.16:2181,172.17.4.17:2181,172.17.217.124:2181/kafka \
--topic test
kill -9 $(pgrep -f kafka) 虽然进行了设备，并进行了删除，但是只做了个标记： 将进行原数据的删除，直到整个topic删除掉： 1：linux磁盘文件夹 2：zk的/kafka的
ls /kafka/brokers/topics
ls /kafka/config/topics
rmr /kafka/brokers/topics/test
魏忠贵
关注
关注
点赞
收藏
打赏
评论
十四：kafka的topic创建和解析
一：检查kafka是否成功：创建topic，如能成功创建topic则表示集群安装完成，也可以用jps命令查看kafka进程是否存在bin/kafka-topics.sh \--create \--zookeeper 172.17.4.16:2181,172.17.4.17:2181,172.17.217.124:2181/kafka \--replication-factor 3 \...
复制链接
扫一扫
专栏目录
kafka topic
qq_39674417的博客
03-25
442
回顾kafka极简入门(二)--安装
topic是kafka的生产者和消费者最小交互的单位，我们先从topic入手，创建第一个topic.
进去kafka的bin目录我们发现有个kafka-topics.sh脚本
1.创建topic
官方推荐如果kafka版本大于等于2.2使用--bootstrap-server替代--zookeeper（2.2以上也兼容--zookeeper）命令如下
kafka-topics.sh --create --bootstrap-serv...
【kafka】四、数据日志分离
最新发布
return
11-25
70
但是创建topic后，相关日志及topic数据都在这个目录。在kafka目录下新建一个。在安装的时候，在配置文件。
参与评论
您还未登录，请先
登录
后发表或查看评论
Kafka学习笔记：Kafka的Topic、Partition和Message
热门推荐
lrxcmwy2的博客
09-27
4万+
Kafka的Topic和Partition
Topic
Topic是Kafka数据写入操作的基本单元，可以指定副本
一个Topic包含一个或多个Partition，建Topic的时候可以手动指定Partition个数，个数与服务器个数相当
每条消息属于且仅属于一个Topic
Producer发布数据时，必须指定将该消息发布到哪个Topic
Consumer订阅消息时，也必须指定订阅哪个...
kafka中topic的创建和查询
jjt_zaj的博客
11-21
744
kafka topic
kafka创建topic及关键参数详解
qq_22611181的专栏
08-19
1515
创建topic时不用全部指定，但是了解能帮助后面对应场景创建合适的topic
创建topic实例：
./kafka-topics.sh --zookeeper 10.28.3.47:2181,10.28.3.48:2181,10.28.3.50:2181 --create --topic passenger-flow --partitions 1 --replication-factor 2 --config message.timestamp.type=LogAppendTime
topic
sparkStreaming中关于topic的操作（创建，查看，删除，开启producer，开启consumer，等）【SparkStreaming的文字逻辑说明】
wyqwilliam的博客
07-30
784
上传解压：
在conf下的server-properties文件中，分别设置id为0,1,2
kafka启动时需要修改权限：
chmod +x startkafka.sh
启动：
./startkafka.sh
创建topic：
./kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --t...
Kafka 中 topic、partition、offset、replica、ISR 等概念详解
秀强的专栏
05-03
2383
文章目录消息的数据结构topic 和 partition位移（offset）replicaleader 和 followerISR
消息的数据结构
Kafka 中的消息格式由很多字段组成，其中的很多宇段都是用于管理消息的元数据字段，对用户来说是完全透明的。Kafka 消息格式共经历过 3 次变迁，它们被分别称为 VO、V1 和 V2 版本。V1 版本消息的完整格式如下图所示：
消息由消息头部、 key 和 value 组成。消息头部包括消息的 CRC 码、消息版本号、属性、时间戳、键长度和消息体长度等信息
Kafka学习笔记(二):理解Kafka集群与Topic
BlueLotuss的博客
10-14
762
上一篇博客中，我们初步了解了Kafka实质上是一个消息队列，具有异步、解耦、削峰的作用并且在mac环境下安装了Kafka相关环境，具体可以参考https://blog.csdn.net/BlueLotuss/article/details/120755867?spm=1001.2014.3001.5502。今天我们将以实战的方式深入理解 Kafka 集群的基本组件和专有术语 broker、topic、producer、consumer、partition等。
从上节课的实验，我们了解了 Kafka 的基本架
kafka主体（topic）消息保存关键参数解析
WangYouJin321的博客
09-05
564
kafka主体（topic）消息保存关键参数解析
Kafka主题(Topic)的管理
通往神秘的道路的专栏
11-10
5635
主题的管理包括创建主题、 查看主题信息、修改主题和删除主题等操作。可以通过 Kafka 提供的 kafka-topics.sh 脚本来执行这些操作，这个脚本位于 $KAFKA_HOME/bin/目录下，其核 心代码仅 有一行，具体如下 :
exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@"
可以看到其实质上是...
kafka是如何创建topic的
只为成功找方法 不为失败找借口
10-13
4043
Kafka创建topic命令很简单，一条命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test
这条命令会创建一个名为test的topic，有3个分区，每个分区需分配3个副本。那么在这条命令之后Kafka又做了什么事情呢？本文将对此进行一下梳理，完整地阐述Kafka topic是如何创建的。
topic创建主要分为两个部分...
Kafka：Topic概念与API介绍
kaven
01-02
4778
Topic
事件被组织并持久地存储在Topic中，Topic类似于文件系统中的文件夹，事件就是该文件夹中的文件。Kafka中的Topic始终是多生产者和多订阅者：一个Topic可以有零个、一个或多个生产者向其写入事件，也可以有零个、一个或多个消费者订阅这些事件。Topic中的事件可以根据需要随时读取，与传统的消息传递系统不同，事件在使用后不会被删除，相反，可以通过每个Topic的配置来定义Kafka应该保留事件的时间，之后旧事件将被丢弃。Kafka的性能在数据大小方面实际上是恒定的，因此长时间存储数据是非常
kafka如何创建topic
u011250186的博客
05-29
1万+
Kafka创建topic命令很简单，一条命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test
这条命令会创建一个名为test的topic，有3个分区，每个分区需分配3个副本。那么在这条命令之后Kafka又做了什么事情呢？本文将对此进行一下梳理，完整地阐述Kafka topic是如何创建的。
topic创建主要分为两...
kafka创耳机_如何在kafka中创建topic
weixin_30114439的博客
12-30
167
[Toc]如何在kafka中创建topic在使用kafka发送消息和消费消息之前，必须先要创建topic，在kafka中创建topic的方式有以下3种：如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable参数为true(默认值就是true)，那么当生产者向一个尚未创建的topic发送消息时，会自动创建一个...
kafka中topic默认属性_kafka参数解析+启动参数解析
weixin_40009026的博客
12-20
548
Kafka参数详解每个kafka broker中配置文件server.properties默认必须配置的属性如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.request.max.bytes=104...
在kafka中，可以这么理解topic，partition，broker
qq_44802992的博客
03-01
2297
一个topic，代表逻辑上的一个业务数据集，比如按数据库里不同表的数据操作消息区分放入不同topic，订单相关操作消息放入订单topic，用户相关操作消息放入用户topic，对于大型网站来说，后端数据都是海量的，订单消息很可能是非常巨量的，比如有几百个G甚至达到TB级别，如果把这么多数据都放在一台机器上可定会有容量限制问题，那么就可以在topic内部划分多个partition来分片存储数据，不同的partition可以位于不同的机器上，每台机器上都运行一个Kafka的进程Broker。
...
【必会】Kafka基本概念(topic、partition、offset、broker、生产者、消费者、消费者组等)【知识点速记速查】
jiayoudangdang的博客
07-15
1715
消费者组是Kafka独有的概念，如果面试官问这个，就说明他对此是有一定了解的。官网上的介绍言简意赅，即消费者组是Kafka提供的可扩展且具有容错性的消费者机制；但实际上，消费者组(ConsumerGroup)其实包含两个概念作为队列，消费者组允许你分割数据处理到一组进程集合上(即一个消费者组中可以包含多个消费者进程，他们共同消费该topic'的数据），这有助于你的消费能力的动态调整；；在消费者组中，多个实例共同订阅若干个主题，实现共同消费。；注意；；；；，分区内消费有序；......
理解 Kafka 中的 Topic 和 Partition
Dongguabai 的博客
01-18
3万+
首先要注意的是，Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一样的。
在 Kafka 中，Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topic 可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。
每个 Topic 可...
kafka-Producer&Consumer 一些个人总结
u014231662的博客
04-17
157
个人关于kafka使用的总结，停留在使用的层面是远远不够的，希望大家，会用，更懂得为什么这么用。基于0.8版本的总结
关于生产者：
分区策略：指定分区就用分区，没有指定分区就用key，没有就随机给一个的。
发送：支持批量发送
分区：有一个leader，和多个从的，当前无效的时候会选择一个leader，所有从的消息同步了，才commit能消费。
关于消费者
一个消费者可以消费多个分区...
【原创】Kafka topic常见命令解析
weixin_33725270的博客
06-12
519
本文着重介绍几个常用的topic命令行命令，包括listTopic，createTopic，deleteTopic和describeTopic等。由于alterTopic并不是很常用，本文中就不涉及了。另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的^_^ )
一. list topic 显示所有topic
1. 从zookeep...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：创作都市
设计师：CSDN官方博客
返回首页
魏忠贵
CSDN认证博客专家
CSDN认证企业博客
码龄10年
暂无认证
26
原创
26万+
周排名
65万+
总排名
4万+
访问
等级
655
积分
13
粉丝
获赞
评论
22
收藏
私信
关注
热门文章
九：Operation category READ/WRITE is not supported in state standby解决案例
15316
十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
5528
二十：CDH5.14离线安装kafka (含版本选择)
3134
十七：CDH介绍及官网信息
2993
二十五：Caused by: java.net.UnknownHostException: nameservice1(CDH 5.14 部署spark2第一次运行报错)
2187
分类专栏
实操
2篇
原理
Scala
4篇
Flume
4篇
SparkCore
3篇
Hadoop
4篇
kafka
3篇
CDH
4篇
JAVA
SparkSQL
最新评论
二十：CDH5.14离线安装kafka (含版本选择)
a19920714liou:
我也求一份kafka parcel离线包
二十：CDH5.14离线安装kafka (含版本选择)
qq_38810956:
大佬，大佬，跪求一份的kafka parcel离线包KAFKA-2.1.0-1.2.1.0.p0.11....,现在官网下载不了了。谢谢
十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例
微电子学与固体电子学-俞驰:
这是啥？
archive: jar cv0f spark-libs.jar -C $SPARK_HOME/jars/ .
十一：Flume常用Source配置-taildir-source
nitaimeia:
楼主，我这边报java.nio.file.AccessDeniedException：/ home / hadooop类似的错误，该怎么解决啊
二：zeekeeper+hadoop HA配置及启动停止
魏忠贵
回复
LovelyBear2019:
边学边记录，好多不记录过久了就忘记了
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
二十六：Spark-submit提交一个WC任务源码解析：
二十五：Caused by: java.net.UnknownHostException: nameservice1(CDH 5.14 部署spark2第一次运行报错)
二十四：RDD源码分析
2019年17篇
2018年9篇
目录
目录
分类专栏
实操
2篇
原理
Scala
4篇
Flume
4篇
SparkCore
3篇
Hadoop
4篇
kafka
3篇
CDH
4篇
JAVA
SparkSQL
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
魏忠贵
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值