ウェブサイト検索

CentOS/RHEL 7にApache Kafkaをインストールする方法

Apache Kafkaは強力なメッセージングエンジンであり、BigDataプロジェクトやデータ分析ライフサイクルで広く使用されています。これは、リアルタイムデータストリーミングパイプラインを構築するためのオープンソースプラットフォームです。信頼性、スケーラビリティ、および耐久性を備えた分散型のパブリッシュ・サブスクライブプラットフォームです。

Kafkaはスタンドアロンでもクラスタでも使用できます。Kafkaはストリーミングデータを保存し、トピックとして分類することができます。トピックには、任意の量のデータを処理できるように、いくつかのパーティションがあります。また、HDFSと同様に、フェイルオーバーのために複数のレプリカを持つことができます。Kafkaクラスタでは、ブローカーは公開されたデータを保存するコンポーネントです。

ZookeeperはKafkaクラスターを実行するための必須サービスであり、Kafkaブローカーの調整を管理するために使用されます。Zookeeperはプロデューサーとコンシューマーの間で重要な役割を果たし、すべてのブローカーの状態を維持する責任があります。

この記事では、単一ノードのCentOS 7またはRHEL 7にApache Kafkaをインストールする方法を説明します。

CentOS 7 に Apache Kafka をインストールする

1. まず、エラーなしでApache Kafkaを実行するために、システムにJavaをインストールする必要があります。次に、以下のyumコマンドを使用して、利用可能なデフォルトのJavaバージョンをインストールし、表示されているようにJavaのバージョンを確認してください。

# yum -y install java-1.8.0-openjdk
java -version

2. 次に、公式ウェブサイトから最新の安定版のApache Kafkaをダウンロードするか、以下のwgetコマンドを使用して直接ダウンロードして解凍します。

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz

3. kafka パッケージのシンボリックリンクを作成し、次にKafkaの環境パスを.bash_profileファイルに追加し、それを初期化します。

# ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. 次に、Kafkaパッケージに標準で付属しているZookeeperを起動します。これは単一ノードのクラスターなので、デフォルトのプロパティでZookeeperを起動できます。

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. 2181ポートのZookeeperにtelnetを使って、動物園の管理者がアクセス可能かどうかを確認します。


telnet localhost 2181

デフォルトのプロパティでKafkaを開始します。


kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. 簡単にtelnetを使用してKafkaポート9092にアクセスして、Kafkaがアクセス可能かどうかを検証します。


telnet localhost 9092

8. 次に、サンプルトピックを作成します。

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. 作成したトピックを列挙してください。

# kafka-topics.sh --zookeeper localhost:2181 --list

結論

この記事では、CentOS 7に単一ノードKafkaクラスターをインストールする方法を見てきました。次の記事では、マルチノードKafkaクラスターをインストールする方法を見ていきます。

関連記事: