ウェブサイト検索

Fluentbitを介してDropletからOpenSearchにログを転送する

紹介

システムログの管理は、パフォーマンスの維持、問題のトラブルシューティング、およびシステムの動作を理解するために重要です。システムログは通常、/var/logに保存されており、サーバーの運用に関する貴重な洞察を提供します。このチュートリアルでは、DropletにFluent Bitをインストールし、/var/logからシステムログを収集するように構成し、それらをDigitalOceanのManaged OpenSearchに送信して包括的に分析する方法を説明します。

前提条件

始める前に、次のものを準備してください:

  1. DigitalOceanのDroplet。新しいDropletを作成するには、こちらのドキュメントを参照してください。
  2. 管理されたOpenSearchクラスタ。

ステップ1 - Fluent Bitのインストール

Fluent Bitはオープンソースの軽量ログプロセッサおよびフォワーダーです。さまざまなソースからデータやログを収集し、それらを処理または変換し、さまざまな宛先に転送するように設計されています。

Fluent Bitは複数のプラットフォームにインストールできます。Ubuntu/Debian/Redhat/CentOSにインストールするには、ドロップレットのターミナルで次のコマンドを実行してください:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

fluentbitのインストールに関する詳細情報は、https://docs.fluentbit.io/manual/installation/linux/ubuntu を参照してください。

ステップ2 - FluentBitを設定してログをOpenSearchに送信する

デフォルトでは、Fluent Bitの設定ファイルは/etc/fluent-bit/にあります。ログをOpenSearchに転送するには、fluent-bit.confファイルを修正する必要があります。

フルーエントビット入力

Fluent Bitは、さまざまなソースからログおよびイベントデータを収集できる多くの入力プラグインを提供しています。ログファイルからログを送信するため、tail入力プラグインを使用します。

fluent-bit.confファイルを次のように更新してください:

[INPUT]
    name tail
    Path /var/log/auth.log,/var/log/syslog,/var/log/journal/*.log

Pathを希望するログパスに変更してください。入力プラグインの詳細については、https://docs.fluentbit.io/manual/pipeline/inputs を参照してください。

Fluent Bit の出力

入力プラグインと同様に、fluentbitは収集され処理されたログを異なる宛先に送信する出力プラグインを提供します。私たちはログをOpenSearchに送信しているので、OpenSearch出力プラグインを利用しましょう。

[OUTPUT]
    Name  opensearch
    Match *
    Host <OpenSearch_Host>
    port 25060
    HTTP_User doadmin 
    HTTP_Passwd <OpenSearch_Password> 
    Index ubuntu
    tls On
    Suppress_Type_Name On

<OpenSearch_Host>をあなたのOpenSearchサーバーのホスト名に、<OpenSearch_Password>をあなたのOpenSearchパスワードに置き換えてください。

設定が完了したら、以下のコマンドを実行してFluent Bitサービスを開始します:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

トラブルシューティング

接続を確認してください

LogstashがOpenSearchに接続できることを確認するには、接続性をテストします:

curl -u your_username:your_password -X GET "https://your-opensearch-server:25060/_cat/indices?v"

このコマンドでは、your-OpenSearch-server をあなたの OpenSearch サーバーのホスト名に、your_username と your_password をあなたの OpenSearch 認証情報に置き換えてください。

データ取り込み

データがOpenSearchに正しくインデックスされていることを確認してください:

curl -u your_username:your_password -X GET "http://your-opensearch-server:25060/<your-index-name>/_search?pretty"

your-OpenSearch-serverをあなたのOpenSearchサーバーのホスト名に、your_usernameとyour_passwordをあなたのOpenSearchの認証情報に、your-index-nameをインデックス名に置き換えてください。

ファイアウォールとネットワーク構成

ファイアウォールルールとネットワーク設定が、LogstashとOpenSearch間のトラフィックをポートで許可することを確認してください

Fluent Bitのログを確認する

デフォルトでは、ログはシステムログに書き込まれます。

sudo journalctl -u fluent-bit

構成を検証する

設定ファイルが文法的に正しいことを確認してください。

/opt/fluent-bit/bin/fluent-bit -c /etc/fluent-bit/fluent-bit.conf --dry-run

結論

このチュートリアルでは、Fluent Bitを使用してシステムログを管理するための基本的な手順、具体的にはインストール、設定、およびDigitalOceanのManaged OpenSearchへのログ転送について説明しました。

私たちが行ったことの要約:

インストール: シンプルなcurlコマンドを使用して、DropletにFluent Bitをインストールしました。

設定: Fluent Bitを構成して、tail入力プラグインを使用して/var/logからシステムログを収集し、OpenSearch出力プラグインを使用してOpenSearchに送信しました。

サービス管理：私たちは、継続的なログ収集と転送を確保するために、Fluent Bitサービスを有効化し、開始しました。

トラブルシューティング：接続の確認、データの取り込みの確認、Fluent Bitのログのレビューなど、一般的なトラブルシューティング手順に対処しました。

これらのステップが完了すると、Fluent Bitは効率的にシステムログを収集し、OpenSearchに転送します。これにより、強力な検索および分析ツールを活用して、サーバーのパフォーマンスと動作に関する洞察を得ることができます。

関連記事: