Ihre Protokolle enthalten bereits die Antwort auf die meisten Vorfälle. Das Problem war nie ein Mangel an Daten. Es ist die Zeit, die ein Mensch benötigt, um Tausende von Protokollzeilen durchzulesen, sie mit einem Metrik-Spitzenwert zu korrelieren und herauszufinden, was tatsächlich kaputtgegangen ist.
Große Sprachmodelle verändern das auf beiden Seiten der Gleichung. Sie können die Telemetriedaten für Sie auslesen und Rohdaten schneller in eine Antwort umwandeln, als es ein Mensch könnte. Und zunehmend müssen Sie diese Daten auch direkt im Auge behalten: Ihre Teams nutzen täglich Tools wie Claude und ChatGPT, und diese Nutzung generiert eigene Telemetriedaten, API-Aufrufe, Datenzugriffe usw., über die die meisten Organisationen keinerlei Einblick haben.
LLM-Observability nutzt LLMs zur Überwachung und Fehlerbehebung Ihrer Systeme und bietet Ihnen so einen echten Einblick in die tatsächliche Nutzung durch Ihre Organisation.
Der eigentliche Flaschenhals: Interpretation, nicht Sammlung
Die meisten Observability-Stacks sind gut im Sammeln von Daten. Sie erhalten Metriken, Ereignisse, Protokolle und Traces von jedem Dienst. Der Engpass zeigt sich weiter unten im Prozess, wenn ein Bereitschaftsingenieur um zwei Uhr morgens diese Rohdaten in eine Antwort umwandeln muss.
Hier verdienen sich LLMs ihren Platz im Stack. Sie sind genau in der Aufgabe gut, die Ingenieurteams stundenlang beschäftigt: unstrukturierte Texte lesen, Muster erkennen und diese in einfacher Sprache erklären.
Wie das in der Praxis aussieht
Rauschen in Signal umwandeln. Sumo Logic’s LogReduce gruppiert ähnliche Protokollmeldungen, sodass Tausende von Zeilen auf eine Handvoll Muster reduziert werden, die Sie tatsächlich überblicken können. Fügt man noch ein LLM hinzu, werden diese Muster zu Zusammenfassungen in einfacher Sprache anstatt zu regex-förmigen Clustern.
Fragen in Abfragen umwandeln.Sie wissen, was Sie fragen möchten. Sie erinnern sich nicht immer an die genaue Abfragesyntax. Der Query Agent von Sumo Logic übersetzt eine natürlichsprachliche Frage direkt in eine präzise Abfrage, sodass Sie Ihre Zeit mit der Interpretation der Ergebnisse verbringen, anstatt Syntaxfehler zu beheben.
Verfassen des Vorfallberichts.Wenn eine Warnung ausgelöst wird, erhalten Sie nicht nur einen Ausschlag in einem Diagramm. Sumo Logics Mobot fasst fragmentierte Warnmeldungen zu einer zusammenhängenden Geschichte zusammen: was passiert ist, was davon betroffen war und was als Nächstes überprüft werden sollte. Das ist der Unterschied zwischen dem Starren auf ein Dashboard und dem Lesen eines Briefings.
Entwurf des Postmortem-Berichts.Sobald ein Vorfall behoben ist, muss er dennoch dokumentiert werden. Ein LLM kann den Ablauf erstellen, die ergriffenen Maßnahmen zusammenfassen und Präventionsmaßnahmen vorschlagen, sodass Ihr Team seine Zeit mit der Behebung des Problems und nicht mit dem Papierkram verbringt.
Sumo Logic brachte diese Agenten unter Dojo AI, einer Multi-Agenten-Plattform, zusammen, die für Sicherheits- und Observability-Workflows entwickelt wurde. Jeder Agent hat eine Aufgabe. Sie arbeiten zusammen, wobei in jedem Schritt ein Mensch eingebunden ist, um Probleme schnell zu erkennen, zu untersuchen und zu lösen.
Die andere Hälfte des Problems: Auch die Art und Weise, wie Ihre Organisation LLMs einsetzt, muss beobachtbar sein.
Ihr Team arbeitet wahrscheinlich nicht nur mit LLMs, sondern nutzt sie auch täglich in Tools wie Claude und ChatGPT. Diese Nutzung erzeugt ihre eigenen Telemetriedaten, und die meisten Organisationen haben keinerlei Einblick darin.
Die Claude Compliance App erfasst Aktivitätsprotokolle von Claude Enterprise und der Claude Platform und bietet Ihnen so einen zentralen Überblick über API-Nutzung, Authentifizierung, Abrechnung, Datenzugriff, Integrationen, SSO und Richtlinienänderungen – inklusive vorkonfigurierter Dashboards und sofort einsatzbereiter Erkennungsfunktionen.
Die ChatGPT Compliance App leistet dasselbe für die Tools von OpenAI, indem sie Interaktionsmuster aufdeckt und Datenaustauschverhalten kennzeichnet, das gegen die Richtlinien verstößt, bevor es zu einem Vorfall kommt. Beide bieten Ihnen einen durchsuchbaren, mit Zeitstempeln versehenen Prüfpfad, sodass Sie, wenn jemand fragt, wie Ihr Team diese Tools tatsächlich nutzt, eine Antwort statt einer Vermutung haben.
Diese Sichtbarkeit ist aus demselben Grund wichtig, aus dem Ihre Servicetelemetrie wichtig ist. Was man nicht sieht, kann man nicht steuern. Ein Ingenieur, der proprietären Code in ein nicht verwaltetes KI-Tool einfügt, ist genauso ein blinder Fleck wie ein nicht überwachter Dienst. Eines davon wird in Ihren Infrastruktur-Dashboards angezeigt. Das andere wird nirgends angezeigt.
Für Teams, die auf dieser Nutzung aufbauend ihre eigenen LLM-gestützten Anwendungen entwickeln, deckt Sumo Logic auch diese Ebene ab, mit Anwendungen wie OpenLLMetry für benutzerdefinierte KI-Anwendungen, die Traces, Metriken und Protokolle von LLM-Aufrufen, Vektordatenbanken und KI-Agenten im Standard-OpenTelemetry-Format erfassen. Und LiteLLM für Multi-Modell-Routing, das Anfragevolumen, Latenz, Token-Verbrauch und Ausgaben über mehr als 100 Modelle hinweg für Teams verfolgt, die den Datenverkehr über einen Multi-Modell-Proxy leiten.
Was das für Ihr Team bedeutet
Sie müssen sich nicht zwischen der Nutzung von KI zur Beobachtung Ihrer Systeme und der Beobachtung der Nutzung von KI-Tools durch Ihre Organisation entscheiden. Beides ist dieselbe Disziplin, angewendet auf einen Stack, der nun neben Ihren Diensten auch Modelle und die Personen umfasst, die diese anstoßen.
Beginnen Sie mit der Lücke, die Ihnen heute die höchsten Kosten verursacht. Wenn Alarmmüdigkeit das Problem ist, schauen Sie sich an, wie ein LLM Ihre Triage verändert. Wenn Sie im Dunkeln tappen, wie Claude oder ChatGPT in Ihrer Organisation eingesetzt werden, ist das die Transparenzlücke, die es zuerst zu schließen gilt.
Das Datenvolumen wird nicht verschwinden. Entscheidend ist, wie Sie Einblick in KI-Tools erhalten und wie schnell Sie Probleme in eine Antwort umwandeln können.
Erkunden Sie die KI-gestützten Observability-Funktionen von Sumo Logic oder sprechen Sie mit einem Sumo Logic-Experten über Ihren Stack.
