20년 전, 소프트웨어가 세상을 집어삼켰습니다. 기존의 모니터링 방식인 페일오버, 정기적인 재부팅 등은 빠르게 한계를 드러냈고, 소프트웨어 우수성에 새로운 초점이 맞춰지면서 모니터링과 유지 관리 방식 전체를 다시 생각해야 했습니다.
소프트웨어 출시 주기가 1년에 한 번이던 시절에도, 개발자와 미래학자들은 애플리케이션 경험에 대한 더 깊은 이해를 바탕으로 접근 방식을 구축하고, 정보를 제공하며, 최적화해야 한다는 점을 명확히 알고 있었습니다. 이것이 성능 관리와 옵저버빌리티의 초기 씨앗이 되었습니다.
초기 옵저버빌리티가 이루지 못한 약속
옵저버빌리티는 본질적으로 시스템 상태 보장, 신뢰성·성능·보안 문제 식별, 그리고 문제를 효과적으로 해결한다는 세 가지 핵심 약속을 위해 설계되었습니다. 그러나 이를 위해서는 막대한 양의 데이터가 필요했고, 분석은커녕 당시에는 데이터 수집조차 비용과 난이도가 매우 높았습니다. 지난 10년 동안 다양한 방식과 텔레메트리가 결합되면서, 오늘날 우리가 알고 있는 로그, 메트릭, 분산 추적이 옵저버빌리티의 표준 접근법으로 자리 잡았습니다.
하지만 10년의 시도 끝에 이 조합은 결국 더 큰 단편화와 더 많은 노력 대비 낮은 효과라는 문제만 남겼습니다. 다른 방식으로 인프라나 애플리케이션에 대한 깊은 인사이트를 확보할 수 없게 되자, 개발자들은 트레이싱(Tracing)으로 눈을 돌렸습니다. 코드를 계측해 추적 가능한 조각을 모니터링하여 애플리케이션 경험이나 코드 종속성을 일부라도 가시화하기 시작한 것입니다.
트레이싱은 유용했지만 완전한 답은 아니었습니다. 높은 비용과 복잡성, 많은 작업량으로 인해 코딩에 상당한 오버헤드가 추가되었습니다. 이는 개발자 피로도 증가와 출시 속도 저하로 이어졌으며, 애플리케이션 전체 범위를 포괄하는 경우도 드물었습니다.
일부는 이러한 문제 해결을 위해 ‘Observability 2.0’ 같은 버전 업 방식이 답이라고 주장하지만, 단순한 반복적 접근 방식은 이미 구식 모델을 강화할 뿐입니다. 우리는 더욱 민첩해야 합니다. 시장은 지속적으로 발전하는 SaaS 기반 옵저버빌리티 솔루션과 과거의 실패를 답습하지 않는 새로운 접근 방식을 요구하고 있습니다.
로그: 현대적 옵저버빌리티의 초석
이 새로운 접근 방식은 풍부한 비정형 로그 데이터를 기반으로 하게 될 것입니다. 피터 부르곤(Peter Bourgon)의 초기 분석에서 로그는 개별적이고 제한된 데이터 조각으로 간주되었습니다. 이는 항상 특정 포맷으로 제공되는 정형 로그를 의미한 것이었습니다. 그는 그 역할을 이해하고 있었지만, 애플리케이션과 개발 방식이 변화함에 따라 로그 데이터가 얼마나 강력해질지는 예상하지 못했습니다.
옵저버빌리티 세계에서는 지난 20년 동안 너무 많은 변화가 있었습니다. 지금은 소프트웨어와 코드가 하루에도 여러 번, 심지어 수백 개의 마이크로서비스에서 하루 수천 번까지 배포되기도 합니다! 이 속도를 따라잡으려면 개발자는 비즈니스 애플리케이션 위에 또 다른 애플리케이션을 얹어 최대한 많은 트레이싱을 조율해야 하는데, 그럼에도 여전히 중요한 부분을 놓치게 됩니다.
오늘날 비정형 로그는 ‘디지털 배기가스(digital exhaust)’처럼 거의 추가 노력이나 계측 없이 지속적으로 생성됩니다. 개발자가 직접 작성한 상세 오류 메시지부터 자연어로 작성된 데이터, 개별 고객 데이터까지 이러한 현대적 비정형 로그는 초기 옵저버빌리티 접근 방식에서 말하던 정형 이벤트를 훨씬 뛰어넘습니다. 이 로그들은 더 정밀한 인사이트를 제공하며, 시스템의 원자적 수준까지 드러내기 위해서는 강력한 비정형 로그 분석이 필요합니다.
이제 로그는 인시던트 분석의 전 과정에서 핵심적 역할을 합니다. 근본 원인 분석을 수행하든, 서비스 종속성을 매핑하든, 풍부한 비정형 로그 데이터는 필요한 인사이트를 제공합니다. 로그는 개발 위생 속에 자연스럽게 자리 잡았고, 지속적 혁신과 배포 파이프라인에 깊이 내재되어 있습니다. 이는 개발자 친화적이며 추가 계측이 필요하지 않습니다. 한 번 구현하면 끝입니다. 제대로만 구현한다면.
여기에 머신러닝과 생성형 AI가 결합되면 혁신의 가능성은 더욱 커집니다. Sumo Logic의 무비용 로그 수집 모델, Flex Licensing 같은 현대적 소비 방식은 기업 전체에서 새로운 수준의 머신러닝 인사이트를 제공할 수 있는 잠재력을 열어 줍니다. 풍부한 로그 데이터셋이 커질수록 머신러닝은 더 정확해지고, 생성형 AI는 더 강력해집니다. 이제 기업은 로그 데이터의 작은 조각을 수집하는 대신 전체 로그 인텔리전스를 하나의 플랫폼에 통합할 수 있습니다.
정형과 비정형 로그 전체에 접근할 수 있다면 복잡한 계측은 더 이상 필요하지 않습니다. 트레이싱이 코드의 일부만 보여준다면, 새로운 로그 분석 접근 방식은 단일 진실 공급원(single source of truth), 즉 통합된 뷰를 제공하여 분절된 시스템 동작을 이어 붙이지 않고 전체 그림을 바로 볼 수 있게 합니다. 이를 통해 기존 방식에서 제공하던 모든 인사이트를 재현할 수 있을 뿐 아니라, 메트릭과 트레이스 가시성, 실시간 서비스 종속성, 글로벌 규모의 클라우드 환경에서도 가능한 근본 원인 식별과 해결책 추천까지 제공합니다.
현대의 옵저버빌리티는 더 많은 예산이나 시간, 개발자 리소스를 요구하지 않고도 포괄적인 로그의 힘을 활용해 옵저버빌리티의 약속을 실현합니다. 로그 기반의 유기적 옵저버빌리티라는 새로운 접근법을 정의하게 될 더 많은 비전과 혁신을 공유할 수 있어 기대됩니다.
로그가 시스템 인사이트의 핵심 기록 체계가 되는 이유를 더 알아보세요..
