部署Linux单机kafka踩坑

kafka简介

kafka是Apache开发的一个开源流处理平台，也目前一种比较成熟的消息系统，被广泛用作消息中间件（现如今的大数据应用中很多都是采用zookeeper+kafka集群）。

部署前置条件

• Linux系统中有jdk（或者jre）环境（推荐jdk1.8）
• zookeeper和kafka的安装包（压缩包文件）
• kafka安装包中自带有zookeeper，本文未选用kafka自带zookeeper

部署过程

• 上传zookeeper和kafka安装包到服务器并解压
• 配置zookeeper配置文件$ vim /zookeeper/conf/zoo_sample.cfg
• 配置kafka配置文件$ vim /kafka/config/server.properties
• kafka server.properties配置文件中需要注意要注释掉listeners=PLAINTEXT://:9092需要放开#port=9092的注释，放开#host.name=localhost的注释并改为实际kafka的ip，修改zookeeper.connect=localhost:2181中的localhost为zookeeper实际ip。
• 修改好zookeeper和kafka配置文件后，使用$ ./zookeeper/bin/zkServer.sh start启动zookeeper（$ ./zookeeper/bin/zkServer.sh stop停止zookeeper），使用$ ./kafka/bin/kafka-server-start.sh ../config/server.properties启动kafka，看到start成功提示表明kafka成功启动。
• 执行zookeeper和kafka启动脚本的命令时，如果提示没有文件的执行权限，可使用$ chmod -R /zookeeper和$ /chmod -R /kafka对两个文件夹所有文件赋予最大权限。

验证

可以使用kafka tool软件连接zookeeper读取kafka消息，注意：如果连接zookeeper超时，看下网络是否经过vpn。kafka实战？