kafka安裝部署，【Kafka】kafka的安裝以及部署的詳細描述

kafka是一個高吞吐量的分布式消息隊列（message Queue）系統，以下是它的介紹

kafka安裝部署、流媒體平臺有三個關鍵功能：

• 發布和訂閱記錄流，類似于消息隊列或企業消息傳遞系統。
• 以容錯的持久方式存儲記錄流。
• 記錄發生時處理流。

Kafka通常用于兩大類應用：

• 構建可在系統或應用程序之間可靠獲取數據的實時流數據管道
• 構建轉換或響應數據流的實時流應用程序

部署kafka，要了解Kafka如何做這些事情，讓我們深入探討Kafka的能力。

首先是幾個概念：

• Kafka作為一個集群運行在一個或多個可跨多個數據中心的服務器上。
• Kafka集群以稱為主題的類別存儲記錄流。
• 每條記錄都包含一個鍵，一個值和一個時間戳。

kafka怎么用，下面是它的圖

? ? ? ? ? ? ? ? ? ? ? ??

?

一、安裝的第一步

首先、應該先上傳、解壓。然后配置相應的配置文件，這里只需要配置server.properties即可，啟動3臺kafka Brokers，如下圖所示

啟動服務：在啟動這個服務之前，先啟動HDFS的各種節點，然后啟動zookeeper服務，再啟動kafka的服務，

創建topic并查看：bin/kafka-topics.sh --create --zookeeper bigdata-hpsk01.huadian.com:2181/kafka --replication-factor 2 --partitions 3 --topic testTopic88?? ?
?? ?--replication-factor 副本數量 < Broker 數量
?? ?查看kafka集群中 topic數目
?? ?bin/kafka-topics.sh --list --zookeeper bigdata-hpsk01.huadian.com:2181/kafka
?? ?

? ?發送數據到topic中
?? ?
?? ?bin/kafka-console-producer.sh --broker-list hostname:9092,hostname:9093,hostname:9093 --topic testTopic88?? ?
?? ?
?? ?從topic消費數據?? ?
?? ?bin/kafka-console-consumer.sh --zookeeper hostname:2181/kafka --topic testTopic88 --from-beginning

因為kafka的元數據是存儲在zookeeper中，所以可以在zookeeper中去查看

這就說明安裝成功了，可以往kafka寫入數據了。

?

?