【Kafka】使用Flume对接Kafka「终于解决」

大家好，欢迎来到IT知识分享网。

本篇需要用到Kafka与Flume，需要提前安装好两个软件，若还没安装，推荐先浏览下面推荐内容
Kafka的安装与基本命令的使用.
Flume的初步认识.

• 思考:为什么要将Kafka与Flume对接起来？
  答：在实际工作中，Flume主要是用来采集日志文件的，并且用户文件一般不是单单的只给一个用户，可能会发送给多个用户。发送给的用户数可能也是不固定的，需要随时变换，而Flume却不能做到动态的增加、减少，所以我们可以使用Kafka配合着Flume来解决这一问题。

• 在flume中的job(自创)文件夹下创建运行文件,文件内容如下

  # define
  a1.sources = r1
  a1.sinks = k1
  a1.channels = c1
  
  # source
  a1.sources.r1.type = exec
  a1.sources.r1.command = tail -F -c +0 /home/data/flume/kafka/test.log
  
  # sink
  a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
  a1.sinks.k1.kafka.bootstrap.servers = master:9092,slave1:9092,slave2:9092
  a1.sinks.k1.kafka.topic = first
  a1.sinks.k1.kafka.flumeBatchSize = 20
  a1.sinks.k1.kafka.producer.acks = 1
  a1.sinks.k1.kafka.producer.linger.ms = 1
  
  # channel
  a1.channels.c1.type = memory
  a1.channels.c1.capacity = 1000
  a1.channels.c1.transactionCapacity = 100
  
  # bind
  a1.sources.r1.channels = c1
  a1.sinks.k1.channel = c1
  

• 首先使用Kafka来创建一个消费者，要与运行配置文件的名称一样，命令如下
  bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 2 --partitions 1 --topic first
  

• 使first主题开始消费:bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic first

• 启动来进行测试，使用下述命令启动Flume
  bin/flume-ng agent -c conf -name a1 -f /home/flume/job/kafka.conf

• 向文件中写入数据;echo '123456' > /home/data/flume/kafka/test.log

• 查看消费主题
  

• 现在在另一个节点上开启first主题:bin/kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic first