대부분의 사고에 대한 해답은 이미 로그에 담겨 있습니다. 문제는 데이터 부족이 아니었습니다. 이는 사람이 수천 줄의 로그를 읽고, 해당 로그를 메트릭 급증과 연관시켜 실제로 무엇이 고장 났는지 파악하는 데 걸리는 시간입니다.
대규모 언어 모델은 이 방정식의 양쪽 모두를 바꿉니다. 그들은 여러분 대신 읽어 주며, 원시 원격 측정 데이터를 사람보다 훨씬 빠르게 답으로 바꿀 수 있습니다. 그리고 점점 더 직접 모니터링해야 할 대상이 되고 있습니다. 팀원들이 Claude나 ChatGPT 같은 도구를 매일 사용하고 있는데, 이러한 사용으로 인해 자체 원격 측정 데이터, API 호출, 데이터 액세스 등이 발생하지만 대부분의 조직은 이를 전혀 파악하지 못하고 있습니다.
LLM 옵저버빌리티는 LLM을 사용하여 시스템을 모니터링하고 문제를 해결함으로써, 조직이 실제로 LLM을 어떻게 사용하는지에 대한 실질적인 가시성을 제공합니다.
실제 병목 현상은 수집이 아니라 해석에 있다
대부분의 옵저버빌리티 스택은 데이터 수집에 뛰어납니다. 모든 서비스에서 메트릭, 이벤트, 로그 및 트레이스가 쏟아져 들어옵니다. 병목 현상은 하류에서 발생하는데, 당직 엔지니어가 새벽 2시에 해당 원시 원격 측정 데이터를 답으로 바꿔야 할 때 나타납니다.
바로 그 지점에서 LLM이 스택에서 제 역할을 하게 됩니다. LLM은 엔지니어링 시간을 소모하는 바로 그 작업, 즉 비정형 텍스트를 읽고 패턴을 찾아 이를 평이한 언어로 설명하는 데 능숙합니다.
실제 환경에서는 어떻게 보이는가
잡음을 신호로 압축합니다. Sumo Logic의 LogReduce는 유사한 로그 메시지를 클러스터링하여 수천 줄의 로그를 실제로 스캔할 수 있는 몇 가지 패턴으로 축소합니다. LLM을 그 위에 추가하면 이러한 패턴은 정규 표현식 형태의 클러스터가 아니라 자연어 기반 요약이 됩니다.
질문을 쿼리로 바꾸기. 여러분은 무엇을 묻고 싶은지 알고 있습니다. 정확한 쿼리 구문을 항상 기억할 수 있는 것은 아닙니다. Sumo Logic의 Query Agent는 자연어 질문을 정확한 쿼리로 직접 변환하므로, 구문 디버깅이 아니라 결과 해석에 시간을 쓸 수 있습니다.
사고 내러티브 작성. 경고가 발생하면 그래프에 단순히 스파이크만 나타나는 것은 아닙니다. Sumo Logic의 Mobot은 파편화된 알림을 하나의 내러티브로 요약해, 무슨 일이 일어났는지, 무엇에 영향을 미쳤는지, 다음에 무엇을 확인해야 하는지를 알려줍니다. 이는 그저 대시보드를 바라보고 있는 것과 브리핑을 읽는 것의 차이입니다.
사후 검토 보고서 작성. 사건이 해결된 후에도 누군가는 여전히 그 내용을 문서화해야 합니다. LLM은 타임라인을 작성하고, 수행된 조치를 요약하고, 예방 단계를 제안할 수 있으므로 팀은 서류 작업이 아니라 문제 해결에 시간을 집중할 수 있습니다.
Sumo Logic은 이러한 에이전트들을 보안 및 옵저버빌리티 워크플로를 위해 구축된 멀티 에이전트 플랫폼인 Dojo AI 아래에 통합했습니다. 각 에이전트에는 맡은 역할이 있습니다. 이들은 모든 단계에 사람이 개입한 상태에서 함께 작업하여 문제를 신속하게 탐지, 조사 및 해결합니다.
문제의 또 다른 절반: 조직에서 LLM을 사용하는 방식에도 옵저버빌리티가 필요합니다
여러분의 팀은 LLM을 활용해 구축하기만 하는 것이 아니라 Claude나 ChatGPT와 같은 도구 안에서 매일 이를 사용하고 있을 가능성이 높습니다. 이러한 사용은 자체 원격 측정 데이터를 생성하지만, 대부분의 조직은 이를 전혀 파악하지 못합니다.
Claude Compliance App은 Claude Enterprise 및 Claude Platform 활동 로그를 수집하여 API 사용, 인증, 청구, 데이터 액세스, 통합, SSO 및 정책 변경 사항에 대한 중앙 집중식 가시성을 제공하며, 사전 빌드된 대시보드와 즉시 사용 가능한 탐지 기능을 이미 갖추고 있습니다.
ChatGPT Compliance App은 OpenAI 도구에 대해서도 동일한 작업을 수행하여 상호 작용 패턴을 파악하고, 정책을 위반하는 데이터 공유 행위를 사건으로 번지기 전에 표시합니다. 두 도구 모두 검색 가능하고 타임스탬프가 찍힌 감사 추적을 제공하므로, 누군가 팀이 이러한 도구를 실제로 어떻게 사용하고 있는지 물어보면 추측이 아닌 구체적인 답을 제시할 수 있습니다.
이러한 가시성이 중요한 이유는 서비스 원격 측정 데이터가 중요한 이유와 같습니다. 보이지 않으면 관리할 수 없습니다. 엔지니어가 관리되지 않는 AI 도구에 독점 코드를 붙여넣는 것은, 모니터링되지 않는 서비스와 마찬가지로 하나의 사각지대입니다. 하나는 인프라 대시보드에 나타납니다. 다른 하나는 어디에도 나타나지 않습니다.
이러한 사용을 기반으로 자체 LLM 기반 애플리케이션을 구축하는 팀을 위해, Sumo Logic은 OpenLLMetry와 같은 앱으로 이 계층도 지원합니다. OpenLLMetry는 LLM 호출, 벡터 데이터베이스 및 AI 에이전트에서 추적, 메트릭 및 로그를 표준 OpenTelemetry 형식으로 캡처하는 맞춤형 AI 애플리케이션용 앱입니다. 그리고 LiteLLM은 멀티모델 라우팅을 위해 100개 이상의 모델 전반에서 요청량, 지연 시간, 토큰 사용량 및 비용을 추적하여, 멀티모델 프록시를 통해 트래픽을 라우팅하는 팀을 지원합니다.
이것이 여러분의 팀에 의미하는 바
AI를 사용해 시스템을 관찰하는 것과 조직이 AI 도구를 사용하는 방식을 관찰하는 것 사이에서 하나를 선택할 필요는 없습니다. 두 가지는 동일한 전문 영역이며, 이제 서비스뿐 아니라 모델과, 이들에게 프롬프트를 입력하는 사람들까지 포함하는 스택에 적용됩니다.
오늘 여러분에게 가장 큰 비용을 야기하는 격차부터 시작하세요. 경고 피로가 문제라면, LLM이 여러분의 알림 트리아지 방식을 어떻게 바꾸는지 살펴보세요. 조직 전반에서 Claude나 ChatGPT가 어떻게 사용되고 있는지 파악하지 못하고 있다면, 그 가시성 격차를 가장 먼저 해소해야 합니다.
데이터 양은 줄어들지 않을 것입니다. 변화하는 것은 AI 도구에 대한 가시성을 확보하는 방법과, 문제를 얼마나 빠르게 답으로 전환할 수 있는지입니다.
Sumo Logic의 AI 기반 옵저버빌리티 기능을 살펴보거나, Sumo Logic 전문가와 상담하여 사용 중인 스택에 대해 논의해 보세요.
