KafKa（0.10）安装部署和测试_汤高的博客-CSDN博客_kafka 0.10 安装
KafKa（0.10）安装部署和测试
汤高
于 2016-06-25 14:14:51 发布
10954
收藏
分类专栏：
大数据与云计算
kafka
大数据生态系统技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tanggao1314/article/details/51758299
版权
大数据与云计算
同时被 3 个专栏收录
50 篇文章
3 订阅
订阅专栏
kafka
5 篇文章
4 订阅
订阅专栏
大数据生态系统技术
60 篇文章
100 订阅
订阅专栏
Step 1: 下载代码
http://kafka.apache.org/downloads.html
0.10.0.0是最新版本。 当前的稳定版本是0.10.0.0。
下载0.10.0.0版本并且解压它。
> tar -zxvf kafka_2.10-0.10.0.0.tgz 
> cd kafka_2.11-0.10.0.0
Step 2: 启动服务
运行kafka需要使用Zookeeper，所有你需要先启动一个Zookeeper服务器，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper。
> bin/zookeeper-server-start.sh config/zookeeper.properties[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...
现在启动kafka服务
> bin/kafka-server-start.sh config/server.properties &[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...
Step 3: 新建一个主题(topic)
创建一个名为“test”的Topic，只有一个分区和一个备份：
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 创建好之后，可以通过运行以下命令，查看已创建的topic信息：
> bin/kafka-topics.sh --list --zookeeper localhost:2181test
或者，除了手工创建topic外，你也可以配置你的broker，当发布一个不存在的topic时自动创建topic。
Step 4: 发送消息 Kafka提供了一个命令行的工具，可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。
运行producer（生产者）,然后在控制台输入几条消息到服务器。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message
This is another message
Step 5: 消费消息 Kafka也提供了一个消费消息的命令行工具，将存储的信息输出出来。 
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginningThis is a message
This is another message
如果你有2台不同的终端上运行上述命令，那么当你在运行生产者时，消费者就能消费到生产者发送的消息。
所有的命令行工具有很多的选项，你可以查看文档来了解更多的功能。
Step 6: 设置多个broker集群 到目前，我们只是单一的运行一个broker,，没什么意思。对于Kafka,一个broker仅仅只是一个集群的大小, 所有让我们多设几个broker.
首先为每个broker创建一个配置文件: 
> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties 现在编辑这些新建的文件，设置以下属性：
config/server-1.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
broker.id是集群中每个节点的唯一永久的名称，我们修改端口和日志分区是因为我们现在在同一台机器上运行，我们要防止broker改写同一端口上注册的数据。
我们已经运行了zookeeper和刚才的一个kafka节点，所有我们只需要在启动2个新的kafka节点。
> bin/kafka-server-start.sh config/server-1.properties &... > bin/kafka-server-start.sh config/server-2.properties &...
现在，我们创建一个新topic，把备份设置为：3
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic 好了，现在我们已经有了一个集群了，我们怎么知道每个集群在做什么呢？
运行命令“describe topics”
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topicTopic:my-replicated-topicPartitionCount:1ReplicationFactor:3Configs:
Topic: my-replicated-topicPartition: 0Leader: 1Replicas: 1,2,0Isr: 1,2,0
这是一个解释输出，第一行是所有分区的摘要，每一个线提供一个分区信息，因为我们只有一个分区，所有只有一条线。
"leader"：该节点负责所有指定的分区读和写，每个节点将领导一个随机选择的分区。 "replicas":备份的节点，无论该节点是否活着,只是显示。 "isr"：备份节点的集合，也就是活着的节点集合。 我们运行这个命令，看看一开始我们创建的那个节点。
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic testTopic:testPartitionCount:1ReplicationFactor:1Configs:
Topic: testPartition: 0Leader: 0Replicas: 0Isr: 0
没有惊喜，原始主题没有Replicas，所以是0。
让我们来发布一些信息在新的topic上：
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic ...
my test message 1
my test message 2
^C
现在，消费这些消息。
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic ...
my test message 1
my test message 2
^C
我们要测试集群的
容错，kill掉leader，Broker1作为当前的leader，也就是kill掉Broker1。
> ps | grep server-1.properties7564 ttys002 0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home/bin/java... > kill -9 7564 备份节点之一成为新的leader，而broker1已经不在同步备份集合里了。 
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topicTopic:my-replicated-topicPartitionCount:1ReplicationFactor:3Configs:
Topic: my-replicated-topicPartition: 0Leader: 2Replicas: 1,2,0Isr: 2,0
但是，消息没仍然没丢：
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2
^C
Step 7: 使用 Kafka Connect 来 导入/导出 数据
从控制台写入和写回数据是一个方便的开始，但你可能想要从其他来源导入或导出数据到其他系统。对于大多数系统，可以使用kafka Connect，而不需要编写自定义集成代码。Kafka Connect是导入和导出数据的一个工具。它是一个可扩展的工具，运行连接器，实现与自定义的逻辑的外部系统交互。在这个快速入门里，我们将看到如何运行Kafka Connect用简单的连接器从文件导入数据到Kafka主题，再从Kafka主题导出数据到文件，首先，我们首先创建一些种子数据用来测试：
echo -e "foo\nbar" > test.txt 接下来，我们开始2个连接器运行在独立的模式，这意味着它们运行在一个单一的，本地的，专用的进程。我们提供3个配置文件作为参数。第一个始终是kafka Connect进程，如kafka broker连接和数据库序列化格式，剩下的配置文件每个指定的连接器来创建，这些文件包括一个独特的连接器名称，连接器类来实例化和任何其他配置要求的。
> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties 这是示例的配置文件，使用默认的本地集群配置并创建了2个连接器：第一个是导入连接器，从导入文件中读取并发布到Kafka主题，第二个是导出连接器，从kafka主题读取消息输出到外部文件，在启动过程中，你会看到一些日志消息，包括一些连接器实例化的说明。一旦kafka Connect进程已经开始，导入连接器应该读取从
test.txt 和写入到topic
connect-test
,导出连接器从主题
connect-test
 读取消息写入到文件
test.sink.txt
. 我们可以通过验证输出文件的内容来验证数据数据已经全部导出：
cat test.sink.txt foo
bar 注意，导入的数据也已经在Kafka主题
connect-test 里,所以我们可以使用该命令查看这个主题：
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic connect-test --from-beginning {"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}
... 连接器继续处理数据，因此我们可以添加数据到文件并通过管道移动：
echo "Another line" >> test.txt
你应该会看到出现在消费者控台输出一行信息并导出到文件。
参考链接http://orchome.com/6
汤高
关注
关注
点赞
收藏
打赏
评论
KafKa（0.10）安装部署和测试
Step 1: 下载代码http://kafka.apache.org/downloads.html0.10.0.0是最新版本。 当前的稳定版本是0.10.0.0。下载0.10.0.0版本并且解压它。> tar -zxvf kafka_2.10-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0Step 2: 启动服务运行kafka需要使用
复制链接
扫一扫
专栏目录
kafka-0.10.1.0 全集(API,程序win+linux)
10-26
kafka-0.10.1.0 全集 包含API，程序的windows和linux版
Kafka 之producer拦截器(interceptor)
libotao的博客
11-03
13
Kafka 之producer拦截器(interceptor)
一、拦截器原理
　　Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。　　对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指...
参与评论
您还未登录，请先
登录
后发表或查看评论
Kafka安装部署与测试
zhanghw的博客
07-16
405
Kafka安装部署与测试1.软件配置1.1软件下载1.2配置文件修改log、data存储路径2.程序启动2.1启动zookeeper2.2启动kafka服务3.创建topic测试主题kafka4.创建生产者产生消息5.创建消费者接收消息
1.软件配置
1.1软件下载
http://kafka.apache.org/downloads.html
1.2配置文件修改log、data存储路径
2.程序启动
2.1启动zookeeper
.\bin\windows\zookeeper-server-star
阿里云搭建大数据平台（9）：kafka安装部署和测试
小蚯蚓的博客
11-07
1310
一、实现功能
Kafka是消息队列的一种实现。A模块发送数据到kafka， B模块从kafka中获取数据。这样可以避免消息过多对处理消息服务器造成过大压力，消息可以先缓存在kafka然后，消费者从kafka中提取数据消费。
二、部署和配置
1.前提条件
(1) 搭建jdk环境 => jdk1.8.x
(2)搭建scala环境 => scala2.11.8
(3)搭建zooke...
一、kafka安装部署
热门推荐
panchang199266的博客
08-27
4万+
Step 1: 下载代码
你可以登录Apache kafka 官方下载。
http://kafka.apache.org/downloads.html
Step 2: 启动服务
运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper。
//这是前台启动，启动以后，当前就无法进行其...
Kafka常用命令之kafka-console-producer.sh
Ernest
05-04
3万+
kafka-console-producer.sh 脚本通过调用 kafka.tools.ConsoleProducer 类加载命令行参数的方式，在控制台生产消息的脚本。
本文是基于 Kafka_2.12-2.5.0 版本编写的，--bootstrap-server 参数于此版本开始被使用，而 --broker-list 也是在此版本开始被置为过时，但其属性值依旧保持不变。在使用较旧版本时，注意...
kafka-console-producer.sh
最新发布
weixin_38424594的博客
08-08
537
主要是归纳kafka-console-producer.sh 的命令参数中文解释
高并发高可用复杂系统中的缓存架构(十九) kafka在此项目中的应用
liuerchong的博客
07-18
228
多级缓存的架构主要用来解决的问题是：时效高低数据的维度存储
时效性不高的数据，比如一些商品的基本信息，如果发生了变更，假设在 5 分钟之后再更新到页面中， 供用户观察到，也是 ok 的，那么我们采取的是异步更新缓存的策略
时效性要求很高的数据，如库存，采取的是数据库 + 缓存双写的技术方案，也解决了双写的一致性的问题
上面这两条可能直接看觉得好像差不多的，这里忽略了一个解释，对于页面来说，需要静态的生成页面， 这个过程可能稍微耗时一些，而对于双写来说则快太多了，它不负责页面渲染等工作，只需要把缓存数据
kafka学习总结三
慕容的博客
07-27
227
2)生产者kafka-console-producer.sh。3)消费者kafka-console-consumer.sh。发布订阅分为多种类型，订阅者根据需求，选择性订阅。6.生产者和消费者只针对leader操作。（2）消费者组（某个分区，只能由一个消费者消费）2.topic主题对数据分类。1）主题kafka-topic.sh。外部共享，hadoop和kafka共享zk。分布式发布订阅，消息队列。3.消费者和生产者相互独立。流平台（存储，计算）（1）消费者和消费者相互独立。...
Kafka基本使用介绍
Wing_93的博客
11-12
2万+
分布式发布订阅消息系统Kafka
docker php kafka,docker kafka 入门实践
weixin_42515093的博客
03-29
40
1 前置条件Linux-centos7 && docker && docker compose2. 镜像3. docker-compose.yml示例version: '2'services:zookeeper:image: wurstmeister/zookeeperports:- "2181"kafka:image: wurstmeister/kafkaport...
kafka命令行相关操作
weixin_43414144的博客
10-12
92
查看topic信息
./kafka-topics.sh --zookeeper localhost:2181 --describe --topic 主题名称
修改topic分区数量
./kafka-topics.sh --zookeeper localhost:2181 --topic 主题名称 --partitions 分区数量
...
kafka命令大全（转载）
weixin_34273046的博客
09-01
62
作者：半兽人
链接：http://orchome.com/454
来源：OrcHome
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
创建主题（4个分区，2个副本）
bin/kafka-topics.sh --create --zookeeper localhost:2181 --re...
2、Kafka安装配置、快速启动及基本操作教程
STAR GAME
02-18
313
kafka安装配置、快速启动及基本操作1、Kafka下载2、启动服务3、创建一个主题4、删除主题5、发送消息6、消费消息7、设置多个broker集群7、使用Kafka connect来导入/导出数据
1、Kafka下载
kafka官网下载
带src的是源文件,如：
Source download: kafka_2.11-2.3.0.tgz (asc, sha512)
应该下的是：
Scala 2....
Kafka~kafka-console-producer.sh
feizuiku0116的博客
05-25
202
1.参数
参数
描述
–bootstrap-server
连接的Kafka Broker主机名称和端口号
–topic
操作的topic名称
2.实例
发送消息
bin/kafka-console-producer.sh \
--bootstrap-server node1:9092 \
--topic first
Kafka topic、producer、consumer的基础使用
weixin_42507474的博客
10-30
910
文章目录Kafka初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据
Kafka初级
前言
关于kafka的集群安装这里就先跳过，如果需要相关资料以及学习视频的可以在留言下留下联系信息（邮箱、微信、qq都可），我们直接从kafka的学习开始，这是初级阶段，这篇博主主要讲述kafka的命令行操作。
1.topic的增删改查
创建主题：
切换到kafka的相关目录，进行以下命令行操作
bin/kafka-topics.sh --create --bootstrap-server had
kafka2.0系列之(2) kafka快速开始
行走的IT
06-03
1241
说明
kafka所有文章均基于版本 Kafka 2.2.0
java版本最低为Java 8
所有配置均使用默认
安装配置
下载解压
Apache官方提供的下载镜像查看 release版本,然后下载稳定版本到服务器合适的位置
$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz
$ ...
kafka生产者与消费者相关命令行
wf3612581的博客
08-19
4万+
1，开启zookeeper集群 startzk.sh
2，开启kafka集群 start-kafka.sh
2，开启kafka可视化界面 kafka-manager ： start-kafka-manager.sh
3,生产者操作：
kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic //m...
kafka常用命令和参数
紫蝶侠的博客
04-15
685
1.配置hosts文件
cat /etc/hosts
10.139.12.150 kafka3
10.139.12.15 kafka2
10.139.12.149 kafka1
2. 配置zookeeper
#新建data文件夹存放日志
mkdir /zookeeper/data
#写节点对用id号
cd /root/ysw/zookeeper/zk/data
echo 1 > /roo...
kafka 2.4.1单机版部署及使用
王义凯 的博客
04-28
3787
下载，解压，配置环境变量，修改配置，启动验证。
使用Kafka Eagle监控kafka集群：kafka监控系统kafka eagle安装使用
1.下载2.4.1版本
写文章的时候看到2.5.0已经发版的，部署方式一样。
http://kafka.apache.org/downloads
2.解压tar包
tar -zxvfkafka_2.11-2.4.1.tgz -C .
3.配...
用 gpss 从 kafka 消费数据加载到 greenplum
xueyubingsen的专栏
02-26
1283
0. 准备kafka生产者和消费者
kafka生产者程序：
kafka-console-producer.sh --broker-list 192.168.12.115:7776 --topic gpss_test
kafka消费者程序：
kafka-console-consumer.sh --bootstrap-server 192.168.12.115:7776 --topic gpss_t...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
汤高
CSDN认证博客专家
CSDN认证企业博客
码龄8年
暂无认证
159
原创
5万+
周排名
160万+
总排名
122万+
访问
等级
9433
积分
955
粉丝
923
获赞
411
评论
2241
收藏
私信
关注
热门文章
hash算法原理详解
234235
Java面试笔试题大汇总(最全+详细答案)
90564
Java接入Spark之创建RDD的两种方式和操作RDD
45372
Hadoop2.6（新版本）----MapReduce工作原理
34395
Python快速学习第二天
28176
分类专栏
大数据生态系统技术
60篇
数据结构与算法
5篇
Java网络编程
11篇
23天征服--23种设计模式
22篇
Spark
6篇
Web Service
5篇
Java技术
8篇
JavaScript
26篇
数据库
4篇
Java EE
7篇
Java线程
7篇
网络编程
3篇
Struts2
4篇
Java设计模式
23篇
软件环境搭建
2篇
Java面试题
2篇
数据结构与算法
5篇
大型数据库技术
Mybatis
2篇
JDK源码分析
中间件
1篇
Redis
3篇
hbase集群安装
4篇
大数据与云计算
50篇
Java疑难杂症
6篇
kafka
5篇
scala
storm
8篇
spark
6篇
linux学习
13篇
工作总结
14篇
Python学习
12篇
quartz
2篇
算法大杂烩
3篇
算法面试题
最新评论
数据挖掘算法之贝叶斯网络
Gao_Yaya:
使用假设：在c已知的情况下，ab独立。然后使用了这个假设证明了，在c条件下，ab独立。这样可以吗？
hash算法原理详解
小白pk菜鸡:
1位、2位、……、6位、7位、8位是指千万位、百万位、……百位、十位、个位。
JDK动态代理的底层实现原理
z563394688:
设置jvm参数让生成的class文件不消失
hash算法原理详解
carth.r:
博主你好，原文中的” 2) 由于哈希函数是一个压缩映象，因此，在一般情况下，很容易产生“冲突”现象，即： key1！=key2，而 f (key1) = f(key2)。“中的” f (key1) = f(key2)“是否应该改成” f (key1) == f(key2)”更好
JDK动态代理的底层实现原理
帅气呢杰哥:
请问楼主，我跑了下代码，看不到有代理对象生成，也就看不了.class文件，这个怎么破？
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Spring 配置数据库用户名密码加密
Google 面试题分析 | 字典里面的最长单词
Trie树分析
2018年3篇
2017年4篇
2016年137篇
2015年51篇
目录
目录
分类专栏
大数据生态系统技术
60篇
数据结构与算法
5篇
Java网络编程
11篇
23天征服--23种设计模式
22篇
Spark
6篇
Web Service
5篇
Java技术
8篇
JavaScript
26篇
数据库
4篇
Java EE
7篇
Java线程
7篇
网络编程
3篇
Struts2
4篇
Java设计模式
23篇
软件环境搭建
2篇
Java面试题
2篇
数据结构与算法
5篇
大型数据库技术
Mybatis
2篇
JDK源码分析
中间件
1篇
Redis
3篇
hbase集群安装
4篇
大数据与云计算
50篇
Java疑难杂症
6篇
kafka
5篇
scala
storm
8篇
spark
6篇
linux学习
13篇
工作总结
14篇
Python学习
12篇
quartz
2篇
算法大杂烩
3篇
算法面试题
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
汤高
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值