中间件:

工具:

Kafka

  • 原理解析|Apache Flink结合Kafka构建端到端的 Exactly-Once 处理

    原理解析|Apache Flink结合Kafka构建端到端的 Exactly-Once 处理文章目录:ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用

    2024-05-12
    38
  • 大白话带你认识Kafka

    大白话带你认识Kafka前言应大部分的小伙伴的要求,在Yarn之前先来一个kafka的小插曲,轻松愉快。一、Kafka基础消息系统的作用应该大部份小伙伴都清楚,用机油装

    2024-05-10
    34
  • Kafka +深度学习+ MQTT搭建可扩展的物联网平台「附源码」

    Kafka +深度学习+ MQTT搭建可扩展的物联网平台「附源码」文中链接查看,可点击:阅读原文物联网+大数据+机器学习将会是以后的趋势,这里介绍一篇这方面的文章包含源码。

    2024-04-24
    50
  • 浅谈kafka

    浅谈kafka#科技之巅#作者:京东科技 徐拥入门1、什么是kafka?apache Kafka is a distributed streaming pla

    2024-04-23
    45
  • 关于kafka的一点思考

    关于kafka的一点思考kafka以其超强的性能吸引了一众的粉丝,称霸中间件领域。要学会处理 rebalance 问题,我们需要先搞清楚 kafaka 消费者配置的四个

    2024-04-21
    44
  • 程序员必须了解的消息队列之王-Kafka

    程序员必须了解的消息队列之王-Kafka大家好,我是Java小旋风!今天给大家带来程序员必须了解的消息队列之王-Kafka。1. Kafka概述1.1 定义Kafka 是由 Apach

    2024-04-17
    40
  • kafka中的groupid

    kafka中的groupidtopic到group质检是发布订阅的通信方式,即一条topic会被所有的group消费,属于一对多模式;group到consumer是点对点通信方式,属于一对一模式。一句话,使用goup.id是为了避免数据被重复消费。Reference:[1]kafkagroupid的作用?…

    2024-03-18
    48
  • Flume+Kafka整合

    Flume+Kafka整合先使用kafka创建一个主题kafka-topics.shcreatezookeeperhadoop102:2181replication-factor1partitions1topichaha进入flume目录conf文件下写入配置文件对接kafka的收集器#起名字a1.sources=r1a1.channels=c1a1.sinks=k1#指定采集数据的来源a1.sources.r1.type=netcata1.sources.r1.bi

    2024-03-13
    57
  • 什么是Kafka?

    什么是Kafka?目录Kafka什么是消息系统?点对点发布和订阅系统什么是Kafka结构?主题和发布者集群和BrokersZookeeperKafka触发Kafka管理,创建集群和主题卡夫卡vs阿卡KafkaKafka是一个分布式发布——订阅消息传递系统。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题,消费者从主题中读取数据。Zook…

    2024-03-10
    60
  • Flume对接kafka

    Flume对接kafka1.简单的对接需求:使用收集控制台的信息存储再kafka并用kafka消费者消费Flume配置文件:#Namethecomponentsonthisagenta1.sources=r1a1.sinks=k1a1.channels=c1#Describe/configurethesourcea1.sources.r1.type=netcata1.sources.r1.bind=0.0.0.0a1.sources.r1.port=444

    2024-03-01
    90
  • kafka安装教程

    kafka安装教程本文记录在linux环境下,安装kafka,并做简单测试,如果zookeeper没有安装,可参考zookeeper安装:1.下载安装包地址:http://kafka.apache.org/downloads,注意不要下载成source了。2.上传至服务器rz命令上传至服务器解压[root@localhostlocal]#tar-zxvfkafka_2.11-2.1.1.t…

    2024-02-25
    90
  • 32 道常见的 Kafka 面试题

    32 道常见的 Kafka 面试题最近很多粉丝后台留言问了一些大数据的面试题,其中包括了大量的Kafka、Spark等相关的问题,所以我特意抽出时间整理了一些大数据相关面试题,本文是Kafka面试相关问题,其他系列面试题后面会陆续整理,欢迎关注过往记忆大数据公众号。1、Kafka都有哪些特点?高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition,consumergroup对partition进行consume操作。•可扩展性:kafka集群支持热扩展•

    2024-02-22
    78
  • Kafka和MQ的差异

    Kafka和MQ的差异做为消息队列来说,企业中选择MQ的还是多数,像Rabbit,Rocket和Active等MQ中间件相对成熟,性能一般比较可靠。而kafka原本设计的初衷是日志统计分析,现在基于大数据的背景下也可以做运营数据的分析统计,而redis的主要场景是内存数据库,作为消息队列来说可靠性太差,而且速度太依赖网络IO,在服务器本机上的速度较快,且容易出现数据堆积的问题,在比较轻量的场合下能够适用。RabbitM…

    2024-02-09
    64
  • flume消费kafka数据配置

    flume消费kafka数据配置(1)在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件[mars@hadoop104conf]$vimkafka-flume-hdfs.conf在文件配置如下内容##组件a1.sources=r1r2a1.channels=c1c2a1.sinks=k1k2##source1##类型为kafkaa1.sources.r1.type=org.apache.flume.sou..

    2024-01-17
    60
  • kafka系列-kafka教程

    kafka系列-kafka教程kafka简介1、kafka是一个分布式的消息缓存系统,稳定性高,吞吐量高,适合高并发项目2、kafka集群中的服务器都叫做broker3、kafka有两类客户端,一类叫producer(消息生产者),一类叫做consumer(消息消费者),客户端和broker服务器之间采用tcp协议连接4、kafka中不同业务系统的消息可以通过topic进行区分,而且每一个消息topic都会被分

    2024-01-14
    60
  • mq和kafka的不同之处

    mq和kafka的不同之处其实,作为消息队列来说,企业中选择mq的还是多数,因为像Rabbit,Rocket等mq中间件都属于很成熟的产品,性能一般但可靠性较强,而kafka原本设计的初衷是日志统计分析,现在基于大数据的背景下也可以做运营数据的分析统计,而redis的主要场景是内存数据库,作为消息队列来说可靠性太差,而且速度太依赖网络IO,在服务器本机上的速度较快,且容易出现数据堆积的问题,在比较轻量的场合下能够适用。…

    2024-01-11
    69
  • Kafka版本变迁以及版本验证

    Kafka版本变迁以及版本验证版本变化:Kafka总共发布了七个个大版本,分别是0.7.x、0.8.x、0.9.x、0.10.x、0.11.x、1.x及2.x版本。截止2021.04月,最新版本是Kafka2.7,也是最新稳定版本,建议升级到2.6.1或2.7.0版本.1.kafka版本号说明:以kafka_2.13-2

    2023-11-01
    131
  • Kafka重复消费

    Kafka重复消费重复消费的原因消息重复消费的根本原因都在于:已经消费了数据,但是offset没有成功提交。其中很大一部分原因在于发生了再均衡。1)消费者宕机、重启等。导致消息已经消费但是没有提交offset。2)消费者使用自动提交offset,但当还没有提交的时候,有新的消费者加入或者移除,发生了rebal

    2023-10-27
    129
  • Apache Kafka 的基本概念

    Apache Kafka 的基本概念基本概念主题Topictopic是Kafka最基础的组织单位,类似于关系数据库中的数据表。做为使用kafka的开发者,你最应该考虑的是和topic相关的抽象。创建不同的topic保存不同种类的events,或者通过不同的topic保存各种版本经过过滤、转换后的同类ev

    2023-10-01
    119
  • Kafka| 下载与安装

    Kafka| 下载与安装这里以kafka为例子安装cd~wgettar-zxvfkafka_2.12-2.1.1.tgzmvkafka_2.12-2.1.1kafkacdcafka/bin./kafka-server-start.sh../config/server.properties

    2023-09-13
    203
关注微信