官網:http://kafka.apache.org/quickstart
Kafka強依賴ZK,如果想要使用Kafka,就必須安裝ZK,Kafka中的消費偏置信息、kafka集群、topic信息會被存儲在ZK中。有人可能會說我在使用Kafka的時候就沒有安裝ZK,那是因為Kafka內置了一個ZK,一般我們不使用它。
kafka 在CDH當中kafka是獨立分支(跟zookeeper的版本可以不一樣)
[root@yws85 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@yws85 zookeeper-3.4.6]#
[root@yws86 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
[root@yws86 zookeeper-3.4.6]#
[root@yws87 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@yws87 zookeeper-3.4.6]#
如何看kafka_2.11 - 0.10.0.1.tgz
scala 是 2.11 版本
kafak是 0.10.0.1 kafka版本(生產上用0.10版本足以,沒有必要使用官網提供的更高版本,生產求穩,)
問題:那為什么非得選擇0.10.這個版本呢
kafka 后面對接Spark Streaming
網址連接:http://spark.apache.org/docs/latest/streaming-kafka-integration.html
scala-2.11.8.tgz
tar -xzvf scala-2.11.8.tgz(解壓)
chown -R scala-2.11.8(修改權限)
ln -s scala-2.11.8 scala(設置軟連接)
(配置環境變量)
export SCALA_HOME=/opt/software/scala-2.11.8
export PATH=$SCALA_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$FLINK_HOME/bin:$PATH
kafka集群安裝部署、cd zookeeper/bin
./zkCli.sh
ls / (根目錄看一下有沒有)
help
rmr /kafka
[zk: localhost:2181(CONNECTED) 2] ls /kafka
[controller_epoch, brokers, admin, isr_change_notification, consumers, config]
[zk: localhost:2181(CONNECTED) 3] rmr /kafka
生產上很常見,一旦kafka出現問題,需要重新部署的時候,一定要清理干凈在部署
kafka下載網址:http://mirrors.hust.edu.cn/apache/kafka/0.10.2.2/
[root@yws87 kafka]# mkdir logs (創建存儲目錄)[root@yws87 config]# vi server.properties (相當于broker配置服務端)
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=3
port=9092
host.name=192.168.0.87
日志
# A comma seperated list of directories under which to store log files
log.dirs=/opt/software/kafka/logs
(這里之前使用了軟連接,操作方便,如果版本多更容易亂)
zookeeper關聯(本身帶zookeeper,這里會有默認配置,我們是集群這里要進行如下配置)
zookeeper.connect=192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka
注意:/kafka我們在這里加了一個這個,,
原因:是因為kafka文件下有很多文件夾。這樣操作更方便管理,和日后刪除然后scp復制到另外2臺機器,在配置文件中更改
[root@yws87 kafka]# nohup bin/kafka-server-start.sh config/server.properties &
[1] 19455
[root@yws87 kafka]# nohup: ignoring input and appending output to ‘nohup.out’[root@yws87 kafka]#
[root@yws87 kafka]# tail -F nohup.out
[root@yws87 config]# jps
21234 Jps
10590 QuorumPeerMain
19455 Kafka
版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。
工作时间:8:00-18:00
客服电话
电子邮件
admin@qq.com
扫码二维码
获取最新动态