Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息
JDK版本：jdk-7u71-linux-x64.tar.gz 
zookeeper版本：zookeeper-3.4.12.tar.gz 
kafka版本：kafka_2.11-1.1.0.tgz

1、安装JDK

步骤1：新建路径/usr/java, 并在其下解压 jdk-7u71-linux-x64.tar.gz

mkdir -p /usr/java
tar -zxvf jdk-7u71-linux-x64.tar.gz

步骤2：添加JDK到系统环境变量 

[root@test java]# vi /etc/profile

新增以下内容： 

export JAVA_HOME=/usr/java/jdk1.7.0_71 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

步骤3：使配置生效 

source /etc/profile #使配置文件立即生效 
**成功标志：[root@test java]# java -version 
java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b14) 
Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)

2、安装kafka

因为此处是单机版kafka的配置，我们可以直接使用kafka中自带的zookeeper，无需再单独安装

步骤1：解压&移动到/usr/local 

wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -xzvf kafka_2.11-0.9.0.1.tgz
mv kafka_2.11-0.9.0.1 /usr/local/kafka

步骤2：配置kafka，修改server.properties 

mkdir -p /usr/local/kafka/logs/kafka #创建kafka日志目录 
cd /usr/local/kafka/config #进入配置目录 
vi server.properties #编辑修改相应的参数 
broker.id=0 
listeners=PLAINTEXT://localhost:9092 
log.dirs=/usr/local/kafka/logs/kafka #日志存放路径，上面创建的目录 
zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

步骤3、配置kafka下的zookeeper 

mkdir -p /usr/local/kafka/zookeeper #创建zookeeper目录 
mkdir -p /usr/local/kafka/logs/zookeeper #创建zookeeper日志目录 
cd /usr/local/kafka/config #进入配置目录 
vi zookeeper.properties #编辑修改相应的参数 
dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录 
dataLogDir=/usr/local/kafka/logs/zookeeper #zookeeper日志目录 
clientPort=2181 
maxClientCnxns=100 
tickTime=2000 
initLimit=10

3、测试kafka

步骤1：启动zookeeper 

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

步骤2：启动kafka 

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

步骤3：测试创建topic 

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

步骤4：通过list命令查看创建的topic 

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

步骤5：生产消息测试 

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Sulao is the best!

步骤6：消费消息测试 

/usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Sulao is the best!

经过以上6步，代表kafka安装成功。