kafka集群安裝部署,Kafka的安裝部署(分布式部署安裝)

 2023-11-16 阅读 24 评论 0

摘要:官網:http://kafka.apache.org/quickstart Kafka強依賴ZK,如果想要使用Kafka,就必須安裝ZK,Kafka中的消費偏置信息、kafka集群、topic信息會被存儲在ZK中。有人可能會說我在使用Kafka的時候就沒有安裝ZK,那是因為Kafka內置了一個ZK,

官網:http://kafka.apache.org/quickstart

Kafka強依賴ZK,如果想要使用Kafka,就必須安裝ZK,Kafka中的消費偏置信息、kafka集群、topic信息會被存儲在ZK中。有人可能會說我在使用Kafka的時候就沒有安裝ZK,那是因為Kafka內置了一個ZK,一般我們不使用它。

kafka 在CDH當中kafka是獨立分支(跟zookeeper的版本可以不一樣)

一:準備工作

1.zookeeper部署在這里插入圖片描述

[root@yws85 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@yws85 zookeeper-3.4.6]# 
[root@yws86 zookeeper-3.4.6]#  bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
[root@yws86 zookeeper-3.4.6]# 
[root@yws87 zookeeper-3.4.6]#  bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@yws87 zookeeper-3.4.6]# 

如何看kafka_2.11 - 0.10.0.1.tgz
scala 是 2.11 版本
kafak是 0.10.0.1 kafka版本(生產上用0.10版本足以,沒有必要使用官網提供的更高版本,生產求穩,)
問題:那為什么非得選擇0.10.這個版本呢

kafka 后面對接Spark Streaming
在這里插入圖片描述
網址連接:http://spark.apache.org/docs/latest/streaming-kafka-integration.html

2.JDK部署

3. scala部署

scala-2.11.8.tgz
tar -xzvf scala-2.11.8.tgz(解壓)
chown -R scala-2.11.8(修改權限)
ln -s scala-2.11.8 scala(設置軟連接)
(配置環境變量)
export SCALA_HOME=/opt/software/scala-2.11.8
export PATH=$SCALA_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$FLINK_HOME/bin:$PATH

4.事先有的zk,不確定zk是否有kafka殘留信息

kafka集群安裝部署、cd zookeeper/bin
./zkCli.sh
ls / (根目錄看一下有沒有)
help
rmr /kafka

[zk: localhost:2181(CONNECTED) 2] ls /kafka 
[controller_epoch, brokers, admin, isr_change_notification, consumers, config]
[zk: localhost:2181(CONNECTED) 3] rmr /kafka

生產上很常見,一旦kafka出現問題,需要重新部署的時候,一定要清理干凈在部署

二:下載

kafka下載網址:http://mirrors.hust.edu.cn/apache/kafka/0.10.2.2/

[root@yws87 kafka]# mkdir logs  (創建存儲目錄)[root@yws87 config]# vi server.properties (相當于broker配置服務端)
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=3
port=9092
host.name=192.168.0.87
日志
# A comma seperated list of directories under which to store log files
log.dirs=/opt/software/kafka/logs
(這里之前使用了軟連接,操作方便,如果版本多更容易亂)
zookeeper關聯(本身帶zookeeper,這里會有默認配置,我們是集群這里要進行如下配置)
zookeeper.connect=192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka
注意:/kafka我們在這里加了一個這個,,
原因:是因為kafka文件下有很多文件夾。這樣操作更方便管理,和日后刪除然后scp復制到另外2臺機器,在配置文件中更改

三:啟動

[root@yws87 kafka]# nohup bin/kafka-server-start.sh config/server.properties  &
[1] 19455
[root@yws87 kafka]# nohup: ignoring input and appending output to ‘nohup.out’[root@yws87 kafka]# 
[root@yws87 kafka]# tail -F nohup.out 
[root@yws87 config]# jps
21234 Jps
10590 QuorumPeerMain
19455 Kafka

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/4/173674.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息