当前位置: 首页 > news >正文

【赵渝强老师】Kafka消息的消费模式

1

​Kafka消费者组中的消息消费模型有两种,即:推送模式(push)和拉取模式(pull)。

image.png
点击这里查看视频讲解:【赵渝强老师】Kafka消息的消费模式

一、消息的推送模式

这种消息的消费模式需要记录消费者的消费者状态。当把一条消息推送给消费者后,需要维护消息的状态。如果这条消息已经被消费将会对消息进行标记。这种方式无法很好地保证消息被处理。如果要保证消息被处理,发送完消息后需要将其状态设置为“已发送”;而收到消费者的确认后才将其状态更新为“已消费”,这就需要Kafka记录所有消息的消费状态,显然这种方式不可取。这种方式还存在一个明显的缺点就是消息被标记为“已消费”后,其他的消费者将不能再进行消费了。

二、消息的拉取模式

由于推送模式存在一定的缺点,因此Kafka采用了消费拉取的消费模式来消费消息。该模式由每个消费者自己维护自己的消费状态,并且每个消费者互相独立地按顺序拉取每个分区的消息。消费者通过偏移量的信息来控制从Kafka中消费的消息。如下图所示。

2

这种由消费者通过偏移量进行消息消费的优点在于,消费者可以按照任意的顺序消费消息。例如,消费者可以通过重置偏移量信息重新处理之前已经消费过的消息;或者直接跳转到某一个偏移量位置并开始消费。

这里需要特别说明的是,当生产者最新写入的消息如果还没有达到备份数量,即,新写入的消息还没有达到副本数要求的时候,对消费者是不可见的。

另外,消费者如果已经将消息进行了消费,Kafka并不会立即将消息进行删除,而是会将所有的消息进行保存。Kafka会将消息持久化保存到Kafka的消息日志中。不管消息有没有被消费掉,用户可以通过设置保留时间来清理过期的消息数据。

http://www.gsyq.cn/news/108317.html

相关文章:

  • 在 SAP 里,“平行分类账(Parallel Ledger)” 并不是让同一笔业务在 BKPF 里生成多套凭证号,而是“一行 BKPF 记录 + 多行 ACDOCA/FAGLFLEXA 记录” 的模
  • Shell脚本安全终极指南:5步构建坚不可摧的防护体系
  • 11、Unix 实用工具创建与系统调整
  • Qwen-Image-Lightning:8步极速文生图技术重塑AI创作效率边界
  • 精通FreeRTOS与WolfSSL v5.6.4集成:嵌入式安全通信深度实战
  • 14、系统管理:用户管理脚本详解
  • 15、实用的Unix/Linux系统管理脚本
  • 化工反应釜/实验室反应釜/磁力反应釜/高压反应釜/威海磁力反应釜/可加工定制的优质生产厂家! - 品牌推荐大师
  • 2025年口碑好的运输半挂车/液化天燃气运输半挂车厂家推荐及选择参考 - 行业平台推荐
  • 终极指南:如何用开源OCR实现PDF到Markdown的智能转换
  • Noi浏览器:重新定义AI时代的高效工作流
  • 打造惊艳年会!log-lottery 3D球体抽奖完整指南
  • 27、实用脚本编程技巧与示例
  • 深入解析:【JAVA 进阶】Spring Cloud 微服务全栈实践:从认知到落地
  • jk iops
  • 仿RabbitMQ实现消息队列(三)--muduo介绍与应用
  • OpenRouter 模型聚合平台,提供超多免费模型使用
  • 立体声到5.1环绕声:用Python解锁影院级音效的完整指南
  • 【赵渝强老师】阿里云大数据生态圈体系
  • 28、实用脚本程序介绍
  • LangFlow支持iflow协议吗?兼容性全面测评
  • 2025年年终消防机器狗场景落地商推荐:聚焦工业与地下救援场景的可靠性验证及高适应性案例盘点 - 品牌推荐
  • WGAI:零门槛Java AI开发平台,让智能应用触手可及
  • 不可变对象:让你的并发编程so easy
  • Langchain-Chatchat负载均衡配置建议
  • Linly-Talker开源镜像上线:支持表情动画与口型同步的AI数字人方案
  • 5分钟上手:如何用ESP32和NimBLE构建低功耗蓝牙HID设备
  • Noria高性能数据流系统:解决现代Web应用性能瓶颈的终极方案
  • 3分钟AI空间革命:RoomGPT如何重塑未来家居设计
  • xformers混合专家模型企业级部署终极指南:从概念验证到生产环境的快速路径