Flume+Kafka整合

Flume+Kafka整合先使用kafka创建一个主题kafka-topics.shcreatezookeeperhadoop102:2181replication-factor1partitions1topichaha进入flume目录conf文件下写入配置文件对接kafka的收集器#起名字a1.sources=r1a1.channels=c1a1.sinks=k1#指定采集数据的来源a1.sources.r1.type=netcata1.sources.r1.bi

大家好,欢迎来到IT知识分享网。

先使用kafka创建一个主题

kafka-topics.sh --create --zookeeper hadoop102:2181 --replication-factor 1 --partitions 1 --topic haha

进入flume目录conf文件下写入配置文件对接kafka的收集器
在这里插入图片描述

在这里插入图片描述


#起名字
s

在hadoo102启动kafka的消费者测试查看是否收到了数据

  kafka-console-consumer.sh --bootstrap-server 192.168.10.101:9092,192.168.10.102:9092,192.168.10.103:9092 --topic haha --from-beginning

在第一台机器中新打开终端监听端口

 nc -lp 12600或者是 nc (启动了Kafka的机器 )(端口)

启动flume集群

   flume-ng agent -c conf -f /usr/local/src/flume/conf/xxx.conf -name a1 -Dflume.root.logger=INFO,console

在端口发送数据,然后看kafka(配置的是102)中的消费者界面是否出现

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/12562.html

(0)
上一篇 2024-03-10 13:45
下一篇 2024-03-18 16:45

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信