ログから分析情報を引き出すのに時間を費やしたことがあれば、問題の形態をご存知でしょう。1行のログには、IPアドレス、ステータスコード、応答時間、ユーザーIDが含まれていることがありますが、すべて1つの長い非構造化文字列に埋もれています。情報がそこにあることはわかっています。それをフィルタリング、グループ化、またはチャート化できるフィールドに変換することは別の問題です。
これはログ分析における最も一般的なボトルネックの1つであり、なぜそれが起こるのか、そしてそれを修正するためのオプションが何であるかについて、実際のメカニズムを理解する価値があります。単一のインシデントのトラブルシューティングを行っている場合でも、永続的なパイプラインを構築している場合でも同じです。
ログが最初から非構造化になる理由
ほとんどのアプリケーションは、開発者がその時点で便利だと思う方法でログを書き込みます。6か月後にアナリストがクエリを実行したい方法ではありません。1行のログには、一貫した区切り文字がない自由形式のテキスト、タイムスタンプ、キーと値のペア、ネストされた識別子が混在していることがよくあります。これを数十のサービスに掛け合わせると、それぞれが独自のログライブラリとフォーマットを持っているため、技術的には必要なすべてのものを含む生テキストの大量流が、実際には隠されてしまいます。
構造化フィールドは、各情報に名前を付けることでこれを解決します。テキストの壁内の部分文字列を検索する代わりに、status_code=500またはresponse_time>2000で検索します。データは変わりません。変わるのは、それに対応する能力です。
アプローチ1：クエリ時にフィールドを解析する
解析式を手動で記述する
フィールドを抽出する従来の最も直接的な方法は、検索の一部として解析式を記述することです。ほとんどのログプラットフォームは、アンカーベースの解析演算子のいくつかのバージョンをサポートしています。サンプルログ行内のテキストの一部を特定し、それを囲むものを指定し、抽出された値にフィールド名を付けます。
これは1回限りの調査に適しています。特定のエラーを見ていて、今すぐそこから1つか2つのフィールドが必要で、この検索を超えてその解析ロジックを永続化する必要がありません。トレードオフは、実際の構文知識が必要ということです。手で正確な解析式を構築するには、通常、各フィールド境界を特定し、正しい文字をエスケープし、結果を信頼する前にいくつかのサンプル行に対してテストする必要があります。毎日ログを解析するチームメンバーにとって、これは第二の天性になります。他の人にとっては、2分の調査を20分のものに変える技能ギャップです。
AIに任せる
上記のアプローチはボトルネックを作成します。解析式の書き方を知る必要があります。これは特に、チームが新しい場合や、毎日ではなく時々ログを解析する場合に、実際の障壁です。
AI支援解析ツールは、結果に対する制御を失うことなく、そのステップを削除します。Sumo Logicのログサーチでは、これはAI Parse Assistのようなものです。代表的なログ行を選択し、「AIで解析」を選択して、AIが潜在的なフィールドを特定し、対応する解析式を生成するようにします。提案されたフィールドと式を確認し、必要に応じて変更を加え、検索に適用します。何も自動的に実行されません。これは同じスキルのアクセラレータであり、クエリで何が起こっているかを隠すブラックボックスではありません。
アプローチ2：取り込み時にフィールドを抽出する
同じ解析式を何度も書く（またはAIに書かせる）ことに気づいた場合、クエリ時解析は間違ったツールです。フィールド抽出ルール（FER）は、検索を実行するたびにではなく、取り込み時に1回フィールドを解析することでこれを解決します。
利点は複合的です。取り込み時にフィールドを抽出すると、アドホック検索、スケジュール検索、リアルタイムアラート、ダッシュボードで利用できるようになるため、誰も解析ロジックを再度導出する必要がありません。これにより、組織全体でフィールド名も標準化されるため、「IPアドレス」が検索を書いた人に応じてip、ip_addr、client_ipとして表示されることはありません。FERは作成時以降にのみ適用されるため、フィールドがチームにとって重要な場合は、遡及的に履歴データを解析する必要が生じるまで待つのではなく、早期にルールを設定する価値があります。
ここでのトレードオフは事前投資です。プラットフォーム全体で抽出する価値のあるフィールドを特定し、FERを正しく構成する必要があります。これは通常、解析構文を知るか、それを知っているチームメイトに頼ることを意味します。
適切なアプローチを選択する
- 単一のインシデントを調査していますか？手動またはAI支援のいずれかのクエリ時解析により、永続的なものにコミットすることなく、必要なフィールドを取得できます。
- すべての検索で同じフィールドを抽出していますか？フィールド抽出ルール（FER）を設定して、解析が取り込み時に1回すべてのユーザーに対して実行されるようにします。
- 解析構文が初めてですか、それとも試行錯誤をスキップしたいですか？AI支援の提案により、受け入れたり、調整したり、学習したりできる出発点が得られます。
これらは相互に排他的ではありません。パースの最適なアプローチは、3つすべてを使用することです。常に必要なフィールドには抽出ルール、時々必要なフィールドには手動またはAI支援パース、チーム全体で十分な一貫性を保つことで、誰も調査の途中でパース構文を再学習する必要がなくなります。この習慣を身につけることで、これらのフィールドに基づいて構築されたすべての検索、ダッシュボード、アラートが、より高速で信頼性の高いものになります。そうすれば、誰もが同じパース問題をゼロから再度解決する必要がなくなります。
その仕組みをご覧ください。デモをご予約ください。
