中间件:

工具:

Kafka

  • 一探究竟:kafka的内置共识机制与raft算法

    一探究竟:kafka的内置共识机制与raft算法一个典型的 Kafka 体系架构包括若干 Producer 若干 Broker 若干 Consumer 以及一个 ZooKeeper 集群 如上图所示

    2024-12-15
    10
  • 消息队列Kafka、RabbitMQ

    消息队列Kafka、RabbitMQDubbo 消费者发送调用后进入阻塞状态 这个状态表示改线程仍占用内存资源 但是什么动作都不做 如果生产者运行耗时较久 消费者就一直等待 如果消费者利用这个时间 那么可以处理更多请求 业务整体效率

    2024-11-08
    37
  • Kafka消费组rebalance原理

    Kafka消费组rebalance原理消费者组是 Kafka 分布式消息处理的一个重要特征,用于管理消费者并促进扩展应用程序的能力。它们将任何一个主题的消费者组合在一起,并且主题内的分区被分配给这些消费者。当组的参与者发生变化时,消费者组rebalance可能由许多因素触发,这

    2024-10-06
    54
  • “万恶”的 Kafka 再平衡:2招解决不必要的再平衡

    “万恶”的 Kafka 再平衡:2招解决不必要的再平衡每一个消费者组都有一个对应的协调者,这个协调者位于Broker,所有的 Broker 在启动时,都会创建和开启相应的协调者组件。

    2024-10-06
    44
  • JavaWeb项目架构之Kafka分布式日志队列

    JavaWeb项目架构之Kafka分布式日志队列libs 类库参数说明#参数解释broker.id=0 #当前机器在集群中的唯一标识,和zookeeper的myid性质一样port

    2024-10-06
    49
  • 玩转 jmeter backend listener kafka

    玩转 jmeter backend listener kafka说到JMeter后端监听器,大家接触的一般是InfluxdbBackendListenerClient(Influxdb后端监听器),可以将测试

    2024-08-31
    69
  • Spring 对Apache Kafka的支持与集成

    Spring 对Apache Kafka的支持与集成在前面章节的学习中,我们对Spring框架的IOC实现源码有了一定的了解,接着本文继续学习Springframework一个核心的技术点AOP技

    2024-08-27
    85
  • 3分钟带你彻底搞懂 Kafka

    3分钟带你彻底搞懂 Kafka一、认识kafkaKafka到底是个啥?用来干嘛的?官方定义如下:Kafka is used for building real-time da

    2024-07-31
    80
  • kafka的controller选举

    kafka的controller选举在整个Kafka集群中,如果Controller故障异常,有可能会影响到生产和消费。所以,我们需要对其状态、选举、日志等做全面的监控。

    2024-07-30
    104
  • 原理实践,全面讲解Logstash+Kibana+kafka

    原理实践,全面讲解Logstash+Kibana+kafka前面的时候,我因为后台粉丝的一些问题,整理了一篇文章,将ELK三个技术进行详细的讲解,从原理到实践,全面覆盖,但是因为篇幅原因,我分成了两篇进行

    2024-06-29
    99
  • 原理解析|Apache Flink结合Kafka构建端到端的 Exactly-Once 处理

    原理解析|Apache Flink结合Kafka构建端到端的 Exactly-Once 处理文章目录:ApacheFlink应用程序中的Exactly-Once语义Flink应用程序端到端的Exactly-Once语义示例Flink应用

    2024-05-12
    185
  • 大白话带你认识Kafka

    大白话带你认识Kafka前言应大部分的小伙伴的要求,在Yarn之前先来一个kafka的小插曲,轻松愉快。一、Kafka基础消息系统的作用应该大部份小伙伴都清楚,用机油装

    2024-05-10
    159
  • Kafka +深度学习+ MQTT搭建可扩展的物联网平台「附源码」

    Kafka +深度学习+ MQTT搭建可扩展的物联网平台「附源码」文中链接查看,可点击:阅读原文物联网+大数据+机器学习将会是以后的趋势,这里介绍一篇这方面的文章包含源码。

    2024-04-24
    183
  • 浅谈kafka

    浅谈kafka#科技之巅#作者:京东科技 徐拥入门1、什么是kafka?apache Kafka is a distributed streaming pla

    2024-04-23
    148
  • 关于kafka的一点思考

    关于kafka的一点思考kafka以其超强的性能吸引了一众的粉丝,称霸中间件领域。要学会处理 rebalance 问题,我们需要先搞清楚 kafaka 消费者配置的四个

    2024-04-21
    167
  • 程序员必须了解的消息队列之王-Kafka

    程序员必须了解的消息队列之王-Kafka大家好,我是Java小旋风!今天给大家带来程序员必须了解的消息队列之王-Kafka。1. Kafka概述1.1 定义Kafka 是由 Apach

    2024-04-17
    129
  • kafka中的groupid

    kafka中的groupidtopic到group质检是发布订阅的通信方式,即一条topic会被所有的group消费,属于一对多模式;group到consumer是点对点通信方式,属于一对一模式。一句话,使用goup.id是为了避免数据被重复消费。Reference:[1]kafkagroupid的作用?…

    2024-03-18
    130
  • Flume+Kafka整合

    Flume+Kafka整合先使用kafka创建一个主题kafka-topics.shcreatezookeeperhadoop102:2181replication-factor1partitions1topichaha进入flume目录conf文件下写入配置文件对接kafka的收集器#起名字a1.sources=r1a1.channels=c1a1.sinks=k1#指定采集数据的来源a1.sources.r1.type=netcata1.sources.r1.bi

    2024-03-13
    159
  • 什么是Kafka?

    什么是Kafka?目录Kafka什么是消息系统?点对点发布和订阅系统什么是Kafka结构?主题和发布者集群和BrokersZookeeperKafka触发Kafka管理,创建集群和主题卡夫卡vs阿卡KafkaKafka是一个分布式发布——订阅消息传递系统。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题,消费者从主题中读取数据。Zook…

    2024-03-10
    180
  • Flume对接kafka

    Flume对接kafka1.简单的对接需求:使用收集控制台的信息存储再kafka并用kafka消费者消费Flume配置文件:#Namethecomponentsonthisagenta1.sources=r1a1.sinks=k1a1.channels=c1#Describe/configurethesourcea1.sources.r1.type=netcata1.sources.r1.bind=0.0.0.0a1.sources.r1.port=444

    2024-03-01
    225
关注微信