Apache Kafka
ウィキペディア フリーな encyclopedia
Apache Kafkaは、分散型イベントストアおよびストリーム処理プラットフォームである。Apacheソフトウェア財団が管理するオープンソースのシステムで、JavaとScalaを用いて実装されている。このプロジェクトは、リアルタイムのデータフィードを処理するための、統一された高スループット・低遅延のプラットフォームを提供することを目的としている。Kafka Connectと呼ばれるフレームワークを用いることにより、外部システムと接続しデータのインポート/エクスポートを行うことができるほか、ストリーム処理を行うアプリケーション向けのKafka Streamsライブラリが提供されている。通信の効率化を行うため、KafkaはTCP上でバイナリ形式による通信を行い、また「メッセージセット」と呼ばれる概念を導入し複数のメッセージをまとめて送受信することを可能にしている。これらの工夫により、Kafkaは「より大きなネットワークパケット、より大きなシーケンシャルなディスク操作、連続したメモリブロック(中略)を実現し、莫大な数のランダムなメッセージを線形に書き込むことができる[3]」と主張する。
概要 作者, 開発元 ...
作者 | |
---|---|
開発元 | Apache Software Foundation |
初版 | 2011年1月 (13年前) (2011-01)[2] |
最新版 |
Lua エラー モジュール:Wd 内、2009 行目: attempt to concatenate a nil value
/ 28 6月 2024 |
リポジトリ | |
プログラミング 言語 | Scala, Java |
対応OS | クロスプラットフォーム |
種別 | ストリーム・プロセッシング, メッセージブローカー |
ライセンス | Apache License 2.0 |
公式サイト |
kafka |
テンプレートを表示 |
閉じる