RocketMQ的刷盘机制

陆林农业 2023-05-04 13:29 编辑:蒋阳 290阅读

RocketMQ 的所有消息都是持久化的,先写入系统 PageCache,然后刷盘,可以保证内存与磁盘都有一份数据, 访问时,直接从内存读取。消息在通过Producer写入RocketMQ的时候,有两种写磁盘方式,分布式同步刷盘和异步刷盘。

同步刷盘与异步刷盘的唯一区别是异步刷盘写完 PageCache直接返回,而同步刷盘需要等待刷盘完成才返回, 同步刷盘流程如下:

(1). 写入 PageCache后,线程等待,通知刷盘线程刷盘。

(2). 刷盘线程刷盘后,唤醒前端等待线程,可能是一批线程。

(3). 前端等待线程向用户返回成功

在有 RAID 卡,SAS 15000 转磁盘测试顺序写文件,速度可以达到 300M 每秒左右,而线上的网卡

一般都为千兆 网卡,写磁盘速度明显快于数据网络入口速度,那么是否可以做到写完内存就向用户返

回,由后台线程刷盘呢?