Strukturierte Felder aus unstrukturierten Logs extrahieren

Wenn Sie schon einmal Zeit damit verbracht haben, in Logs nach Erkenntnissen zu suchen, kennen Sie das Problem. Eine einzelne Protokollzeile kann eine IP-Adresse, einen Statuscode, eine Antwortzeit und eine Benutzer-ID enthalten, aber alles ist in einer langen, unstrukturierten Zeichenkette vergraben. Sie wissen, dass die Informationen vorhanden sind. Sie in ein Feld zu bringen, das Sie filtern, gruppieren oder in einem Diagramm darstellen können, ist eine andere Sache.

Dies ist einer der häufigsten Engpässe in der Log-Analyse, und es lohnt sich, die tatsächlichen Mechanismen zu verstehen, warum dies geschieht und welche Optionen Sie zur Behebung haben – egal ob Sie einen einzelnen Vorfall beheben oder eine permanente Pipeline aufbauen.

Warum Logs von Anfang an unstrukturiert sind

Die meisten Anwendungen schreiben Logs auf die Weise, die ein Entwickler im Moment praktisch findet, nicht auf die Weise, wie ein Analyst sie sechs Monate später abfragen möchte. Eine einzelne Protokollzeile mischt oft Freitext, Zeitstempel, Schlüssel-Wert-Paare und verschachtelte Bezeichner ohne konsistentes Trennzeichen. Multiplizieren Sie das über Dutzende von Diensten, von denen jeder seine eigene Protokollierungsbibliothek und sein eigenes Format hat, und Sie erhalten einen Datenstrom aus Rohtext, der technisch alles enthält, was Sie brauchen, und praktisch vor Ihnen verbirgt.

Strukturierte Felder lösen dies, indem sie jedem Informationselement einen Namen geben. Anstatt nach einer Teilzeichenkette in einer Textwand zu suchen, suchen Sie nach status_code=500 oder response_time>2000. Die Daten ändern sich nicht. Was sich ändert, ist Ihre Fähigkeit, darauf zu reagieren.

Ansatz eins: Felder zur Abfragezeit parsen

Manuelle Erstellung von Parse-Ausdrücken

Die traditionelle und direkteste Methode zum Extrahieren eines Feldes ist das Schreiben eines Parse-Ausdrucks als Teil Ihrer Suche. Die meisten Log-Plattformen unterstützen eine Version eines ankergestützten Parse-Operators: Sie identifizieren ein Textstück in einer Beispiel-Protokollzeile, teilen dem System mit, was es umgibt, und geben dem extrahierten Wert einen Feldnamen.

Dies funktioniert gut für einmalige Untersuchungen. Sie schauen sich einen bestimmten Fehler an, Sie benötigen jetzt ein oder zwei Felder daraus, und Sie benötigen diese Parse-Logik nicht über diese Suche hinaus. Der Kompromiss besteht darin, dass echtes Syntax-Wissen erforderlich ist. Das Erstellen eines genauen Parse-Ausdrucks von Hand bedeutet normalerweise, jede Feldgrenze zu identifizieren, die richtigen Zeichen zu escapen und gegen einige Beispielzeilen zu testen, bevor Sie das Ergebnis vertrauen. Für ein Teammitglied, das täglich Logs parst, wird dies zur zweiten Natur. Für alle anderen ist es eine Wissenslücke, die eine zweiminütige Untersuchung in eine zwanzigminütige verwandelt.

Lassen Sie KI das tun

Der obige Ansatz schafft einen Engpass: Sie müssen wissen, wie man einen Parse-Ausdruck schreibt. Das ist eine echte Hürde, besonders wenn Sie neu im Team sind oder nur gelegentlich Logs parsen, anstatt täglich.

KI-gestützte Parse-Tools entfernen diesen Schritt, ohne Ihre Kontrolle über das Ergebnis zu entfernen. In Sumo Logics Log Search sieht dies wie AI Parse Assist aus: Sie wählen eine repräsentative Protokollzeile aus, wählen „Mit KI parsen“ und lassen die KI potenzielle Felder identifizieren und den entsprechenden Parse-Ausdruck generieren. Überprüfen Sie die vorgeschlagenen Felder und den Ausdruck, nehmen Sie bei Bedarf Änderungen vor und wenden Sie sie auf Ihre Suche an. Nichts wird automatisch ausgeführt. Es ist ein Beschleuniger für die gleiche Fähigkeit, keine Black Box, die verbirgt, was mit Ihrer Abfrage geschieht.

Ansatz zwei: Felder zur Erfassungszeit extrahieren

Wenn Sie feststellen, dass Sie denselben Parse-Ausdruck immer wieder schreiben (oder KI ihn schreiben lassen), ist Query-Time-Parsing das falsche Tool. Feldextraktionsregeln (FERs) lösen dies, indem sie Felder einmal bei der Erfassung parsen, anstatt jedes Mal, wenn jemand eine Suche ausführt.

Der Vorteil wächst. Das Extrahieren von Feldern bei der Erfassung macht sie für Ad-hoc-Suchen, geplante Suchen, Echtzeit-Warnmeldungen und Dashboards verfügbar, sodass niemand die Parse-Logik neu ableiten muss. Dies standardisiert auch Feldnamen in Ihrer Organisation, sodass „IP-Adresse“ nicht je nach Autor der Suche als ip, ip_addr und client_ip angezeigt wird. FERs gelten nur ab dem Zeitpunkt ihrer Erstellung, daher lohnt es sich, die Regel früh einzurichten, wenn ein Feld für Ihr Team wichtig ist, anstatt zu warten, bis Sie historische Daten rückwirkend parsen müssen.

Der Kompromiss hier ist die anfängliche Investition. Sie müssen identifizieren, welche Felder plattformweit extrahiert werden sollen, und die FER korrekt konfigurieren, was wiederum normalerweise bedeutet, Parse-Syntax zu kennen oder sich auf einen Teamkollegen zu verlassen, der dies tut.

Den richtigen Ansatz wählen

• Untersuchen Sie einen einzelnen Vorfall? Query-Time-Parsing, ob manuell oder KI-gestützt, verschafft Ihnen das benötigte Feld, ohne sich auf etwas Permanentes festzulegen.
• Extrahieren Sie das gleiche Feld in jeder Suche? Richten Sie eine Feldextraktionsregel (FER) ein, damit das Parsing einmal bei der Erfassung für alle erfolgt.
• Neu bei Parse-Syntax oder möchten Sie Versuch und Irrtum überspringen? KI-gestützte Vorschläge geben Ihnen einen Ausgangspunkt, den Sie akzeptieren, anpassen oder von dem Sie lernen können.

Keine dieser Optionen schließt sich gegenseitig aus. Der beste Ansatz zum Parsing nutzt alle drei: Extraktionsregeln für die Felder, die Sie immer benötigen, manuelles oder KI-gestütztes Parsing für die Felder, die Sie gelegentlich benötigen, und ausreichend Konsistenz in Ihrem Team, damit niemand mitten in einer Untersuchung die Parse-Syntax neu erlernen muss. Wenn Sie sich diese Gewohnheit aneignen, wird jede zukünftige Suche, jedes Dashboard und jede Warnmeldung, die auf diesen Feldern basiert, schneller und zuverlässiger – statt dass jeder das gleiche Parsing-Problem immer wieder von vorne löst.

Sehen Sie, wie es funktioniert. Buchen Sie eine Demo.