「Apache Kafka」という言葉はシステム開発やデータエンジニアリングの学習で登場する重要な技術のひとつです。
メッセージキューとの違いやストリーム処理・Zookeeperとの関係がわかりにくいと感じる方も多いかもしれません。
本記事では、Apache Kafkaの意味と仕組みを、メッセージキュー・ストリーム処理・分散システム・Zookeeperとの関係を交えてわかりやすく解説します。
バックエンド開発やデータパイプラインの構築に取り組んでいる方にもきっと役立つ内容でしょう。
Apache Kafkaを正しく理解することで、大規模な分散システムにおけるリアルタイムデータ処理の設計への理解が大きく深まります。
Apache Kafkaとは「高スループットな分散型メッセージングプラットフォーム」のこと
それではまず、Apache Kafkaの基本的な意味と役割について解説していきます。
Apache Kafka（アパッチ・カフカ）とは、大量のリアルタイムデータを高速かつ耐障害性を持って処理・配信できる分散型のメッセージングプラットフォームです。
LinkedInが社内の大量データ処理の課題を解決するために開発し、2011年にオープンソース化された後2012年にApache Software Foundationのトップレベルプロジェクトとなりました。
毎秒数百万件のメッセージを処理できる高スループット性能と、データを一定期間保持して複数のコンシューマーが同じデータを消費できる柔軟性が大きな特徴でしょう。
Netflix・Twitter・Airbnb・Uberなど世界中の大手テクノロジー企業がリアルタイムデータパイプラインの基盤としてKafkaを採用しています。
Kafkaの名前はチェコの作家フランツ・カフカ（Franz Kafka）に由来します。開発者のJay Krepsが「メッセージを書くシステムなので文章を書くことで知られる作家の名前にした」と述べています。
Kafkaが生まれた背景
Apache Kafkaが開発された背景には、従来のメッセージングシステムが抱えていたスケーラビリティの限界があります。
【従来のメッセージキューの課題】
・スループットの限界：大量のメッセージを高速処理できない
・メッセージの消費後削除：一度消費したメッセージを再利用できない
・スケールアウトの困難さ：水平方向への拡張が難しい
・耐障害性の低さ：単一障害点が存在する設計が多い
・リアルタイム処理との不整合：バッチ処理前提の設計が多い
これらの課題を解決するために設計されたKafkaは、ログ構造のストレージとパーティションによる並列処理を組み合わせた革新的なアーキテクチャを採用しているでしょう。
Kafkaの主な用途
| 用途 | 具体例 |
|---|---|
| リアルタイムデータパイプライン | 複数システム間のデータ連携・ETL処理 |
| イベントストリーミング | ユーザー行動ログ・クリックストリームの処理 |
| マイクロサービス間通信 | サービス間の非同期メッセージ連携 |
| ストリーム処理 | リアルタイム集計・異常検知・推奨エンジン |
| ログ集約 | 複数サーバーのログを一元収集・処理 |
Kafkaは単純なメッセージキューを超えた「イベントストリーミングプラットフォーム」として幅広い用途に活用されているでしょう。
Apache Kafkaの主要コンポーネントと仕組み
続いては、Apache Kafkaを構成する主要なコンポーネントとその仕組みを確認していきます。
各コンポーネントの役割を理解することで、Kafkaのアーキテクチャ全体像が明確になるでしょう。
トピック・パーティション・オフセット
Kafkaのデータモデルの核心となる3つの概念を理解しておくことが重要です。
・トピック（Topic）：メッセージを分類して保存するカテゴリ（メールフォルダのようなイメージ）
・パーティション（Partition）：トピックを分割した並列処理単位（トピックは複数のパーティションで構成）
・オフセット（Offset）：パーティション内のメッセージに付与される連番（メッセージの位置を示す）
パーティションに分割することで複数のコンシューマーが並列にメッセージを処理できるため、スループットをスケールアウトで向上させることが可能でしょう。
プロデューサー・コンシューマー・ブローカー
Kafkaの通信モデルを構成する3つの主要な役割を確認しましょう。
| コンポーネント | 役割 | 具体例 |
|---|---|---|
| プロデューサー（Producer） | トピックへメッセージを送信する | Webアプリ・センサー・ログ収集エージェント |
| ブローカー（Broker） | メッセージを受信・保存・配信するサーバー | Kafkaサーバー（複数台でクラスターを構成） |
| コンシューマー（Consumer） | トピックからメッセージを読み取って処理する | データベース・分析システム・通知サービス |
コンシューマーグループを使うことで複数のコンシューマーが協調して同一トピックを並列処理でき、スケールアウトによる高スループット処理が実現できるでしょう。
Kafkaのメッセージ保持とオフセット管理
従来のメッセージキューとKafkaの大きな違いのひとつがメッセージの保持方法です。
Kafkaはメッセージをコンシューマーが消費した後も指定した期間（デフォルト7日間）ディスクに保持するため、同じメッセージを複数のコンシューマーグループが独立して消費したり、障害発生時に特定のオフセットから再処理したりすることができるでしょう。
この特性がKafkaを単純なメッセージキューではなく「イベントログ」として機能させる重要な設計思想となっています。
ZookeeperとKafkaの関係
続いては、Kafkaと密接に関わってきたZookeeperの役割と最新の動向を確認していきます。
KafkaとZookeeperの関係を理解することで、分散システムの仕組みへの理解が深まるでしょう。
Zookeeperとは何か
Apache Zookeeper（ズーキーパー）とは、分散システムにおける設定管理・名前付け・同期・グループサービスを提供するコーディネーションサービスです。
Kafkaは長年Zookeeperを使ってブローカーのクラスター管理・リーダー選出・設定情報の管理を行ってきました。
Zookeeperの存在がKafkaの運用を複雑にする要因のひとつとなっていたため、Kafkaコミュニティはこれを解消する取り組みを進めてきたでしょう。
KRaftモード（Zookeeperレス）への移行
Kafka 2.8から導入が始まったKRaft（Kafka Raft）モードでは、Zookeeperを必要とせずKafka自身がクラスター管理を担うアーキテクチャが実現しています。
Kafka 3.3以降ではKRaftモードが本番環境での使用に推奨されるようになり、Zookeeperへの依存を排除することで運用の簡素化・起動速度の向上・スケーラビリティの改善が実現しているでしょう。
将来的にはZookeeperのサポートが廃止される予定のため、新規構築ではKRaftモードを選択することが推奨されます。
Kafkaのストリーム処理エコシステム
Kafkaを中心としたリアルタイムストリーム処理のエコシステムを整理しておきましょう。
| コンポーネント | 役割 |
|---|---|
| Kafka Streams | Kafka組み込みのストリーム処理ライブラリ |
| Kafka Connect | 外部システムとKafkaを接続するコネクターフレームワーク |
| ksqlDB | KafkaのデータをSQLでリアルタイム処理 |
| Apache Flink | Kafkaと組み合わせた高度なストリーム処理 |
| Apache Spark Streaming | SparkとKafkaを連携したマイクロバッチ処理 |
これらのコンポーネントを組み合わせることで、データの収集から処理・配信までの完全なリアルタイムデータパイプラインを構築できるでしょう。
まとめ
本記事では、Apache Kafkaの意味と仕組みについて、メッセージキュー・ストリーム処理・分散システム・Zookeeperとの関係を交えながら解説しました。
Apache Kafkaとは高スループットな分散型メッセージングプラットフォームで、トピック・パーティション・オフセットによる設計で大量のリアルタイムデータを耐障害性を持って処理・配信できる技術です。
プロデューサー・ブローカー・コンシューマーの役割分担とメッセージの永続保持という設計思想が従来のメッセージキューとの大きな違いでしょう。
KRaftモードへの移行によってZookeeperへの依存が解消され、より簡素で高性能なアーキテクチャへと進化しています。
本記事がApache Kafkaへの理解を深め、分散システムの設計やデータパイプライン構築の実践に役立てば幸いです。
