Loading AI tools
来自维基百科,自由的百科全书
Kafka是由Apache軟件基金會開發的一個開源流處理平台,由Scala和Java編寫。該專案的目標是為處理即時數據提供一個統一、高吞吐、低延遲的平台。其持久化層本質上是一個「按照分散式事務紀錄檔架構的大規模釋出/訂閱訊息佇列」,[4]這使它作為企業級基礎設施來處理串流數據非常有價值。此外,Kafka可以通過Kafka Connect連接到外部系統(用於數據輸入/輸出),並提供了Kafka Streams——一個Java串流處理庫。
![]() | 此條目的引用需要清理,使其符合格式。 (2020年11月2日) |
該設計受事務紀錄檔的影響較大。[5]
Kafka最初是由領英開發,並隨後於2011年初開源,並於2012年10月23日由Apache Incubator孵化出站。2014年11月,幾個曾在領英為Kafka工作的工程師,建立了名為Confluent的新公司,[6],並着眼於Kafka。根據2014年Quora的貼文,Jay Kreps似乎已經將它以作家弗朗茨·卡夫卡命名。Kreps選擇將該系統以一個作家命名是因為,它是「一個用於最佳化寫作的系統」,而且他很喜歡卡夫卡的作品。[7]
Kafka儲存的訊息來自任意多被稱為「生產者」(Producer)的行程。數據從而可以被分配到不同的「分區」(Partition)、不同的「Topic」下。在一個分區內,這些訊息被索引並連同時間戳儲存在一起。其它被稱為「消費者」(Consumer)的行程可以從分區查詢訊息。Kafka執行在一個由一台或多台伺服器組成的叢集上,並且分區可以跨叢集結點分佈。
Kafka高效地處理即時串流數據,可以實現與Storm、HBase和Spark的整合。作為群集部署到多台伺服器上,Kafka處理它所有的釋出和訂閱訊息系統使用了四個API,即生產者API、消費者API、Stream API和Connector API。它能夠傳遞大規模串流訊息,內建容錯功能,已經取代了一些傳統訊息系統,如JMS、AMQP等。
Kafka架構的主要術語包括Topic、Record和Broker。Topic由Record組成,Record持有不同的資訊,而Broker則負責複製訊息。Kafka有四個主要API:
由於其廣泛整合到企業級基礎設施中,監測Kafka在規模執行中的效能成為一個日益重要的問題。監測端到端效能,要求跟蹤所有指標,包括Broker、消費者和生產者。除此之外還要監測ZooKeeper,Kafka用它來協調各個消費者。[8][9]目前有一些監測平台可以追蹤Kafka的效能,有開源的,如領英的Burrow;也有付費的,如Datadog。除了這些平台之外,收集Kafka的數據也可以使用工具來進行,這些工具一般需要Java,包括JConsole。[10]
00000000000000000000.index 00000000000000000000.log 00000000000000000000.timeindex 00000000000000782248.snapshot leader-epoch-checkpoint
下面的列表是曾經或正在使用Kafka的知名企業:
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.