kafka如何解決重復(fù)消費(fèi)?
作者: 發(fā)布日期:2025-06-20 05:15:09
先說重復(fù)消費(fèi)現(xiàn)象的成因,再說可選的解決方案。
一. Kafka 重復(fù)消費(fèi)的產(chǎn)生原因生產(chǎn)端和消費(fèi)端均有可以導(dǎo)致重復(fù)消費(fèi)的場(chǎng)景。
1.1 生產(chǎn)過程產(chǎn)生重復(fù)消息生產(chǎn)者發(fā)出一條消息,Broker 正常存儲(chǔ)該消息,但之后有可能因?yàn)楦鞣N因素未正常響應(yīng)生產(chǎn)者(比如網(wǎng)絡(luò)問題、Broker宕機(jī)等等)。
此時(shí),若生產(chǎn)者不想冒消息丟失的風(fēng)險(xiǎn),那它將只有一個(gè)選擇:重試。
當(dāng) Broker 將該消息正常存儲(chǔ)后,Kafka 中便有了兩條重復(fù)的消息,進(jìn)而引發(fā)消費(fèi)端多次…。









