Broker（代理）

Kafka集群通常由多個(gè)代理組成以保持負(fù)載平衡。 Kafka代理是無(wú)狀態(tài)的，所以他們使用ZooKeeper來(lái)維護(hù)它們的集群狀態(tài)。 一個(gè)Kafka代理實(shí)例可以每秒處理數(shù)十萬(wàn)次讀取和寫入，每個(gè)Broker可以處理TB的消息，而沒(méi)有性能影響。 Kafka經(jīng)紀(jì)人領(lǐng)導(dǎo)選舉可以由ZooKeeper完成。

ZooKeeper

ZooKeeper用于管理和協(xié)調(diào)Kafka代理。 ZooKeeper服務(wù)主要用于通知生產(chǎn)者和消費(fèi)者Kafka系統(tǒng)中存在任何新代理或Kafka系統(tǒng)中代理失敗。 根據(jù)Zookeeper接收到關(guān)于代理的存在或失敗的通知，然后生產(chǎn)者和消費(fèi)者采取決定并開(kāi)始與某些其他代理協(xié)調(diào)他們的任務(wù)。

Producers（生產(chǎn)者）

生產(chǎn)者將數(shù)據(jù)推送給經(jīng)紀(jì)人。 當(dāng)新代理啟動(dòng)時(shí)，所有生產(chǎn)者搜索它并自動(dòng)向該新代理發(fā)送消息。 Kafka生產(chǎn)者不等待來(lái)自代理的確認(rèn)，并且發(fā)送消息的速度與代理可以處理的一樣快。

Consumers（消費(fèi)者）

因?yàn)镵afka代理是無(wú)狀態(tài)的，這意味著消費(fèi)者必須通過(guò)使用分區(qū)偏移來(lái)維護(hù)已經(jīng)消耗了多少消息。 如果消費(fèi)者確認(rèn)特定的消息偏移，則意味著消費(fèi)者已經(jīng)消費(fèi)了所有先前的消息。 消費(fèi)者向代理發(fā)出異步拉取請(qǐng)求，以具有準(zhǔn)備好消耗的字節(jié)緩沖區(qū)。 消費(fèi)者可以簡(jiǎn)單地通過(guò)提供偏移值來(lái)快退或跳到分區(qū)中的任何點(diǎn)。 消費(fèi)者偏移值由ZooKeeper通知。