AI는 팀의 업무 방식을 바꾸고 있습니다. 개발자들은 더 빠른 속도로 코드를 생성하고, 보안 팀은 조사를 자동화하며, 조직 전반의 직원들은 AI 도구를 사용하여 연구, 콘텐츠 제작 및 의사 결정을 가속화하고 있습니다.
하지만 이러한 도입에는 함정이 있습니다. 사용량이 폭발적으로 증가함에 따라 새로운 보안 위험이 발생합니다. 즉, 공격 표면이 빠르게 확장되고, 공격 시간이 단축되며, 잠재적인 데이터 노출이 발생하고, 이러한 도구가 어떻게 사용되고 있는지에 대한 가시성이 현저히 부족해집니다.
대규모 보안 사각지대를 만들거나 거버넌스를 훼손하지 않고 기업이 AI를 도입할 수 있도록 하려면 어떻게 해야 할까요?
Claude Compliance 앱 최근 발표 이후, 필요한 가시성을 빠르게 확보할 수 있는 카탈로그 내 몇 가지 앱을 소개하고자 합니다. 아래에 소개된 앱들은 보안, 규정 준수 및 IT 팀에게 AI 시스템을 모니터링하고, 지출을 추적하고, 위험한 행동을 단일 플랫폼에서 감지하는 데 필요한 정확한 가시성과 제어 기능을 제공합니다.
AI 딜레마: 가시성 vs. 속도
보안 팀은 혁신을 차단하는 것과 데이터 노출 위험을 감수하는 것 사이에서 선택할 필요가 없습니다. 보안이 병목 현상이 되면 사용자는 종종 “섀도우 AI“를 사용하게 되는데, 이때 독점 코드, 고객 데이터 또는 지적 재산을 관리되지 않는 도구에 붙여넣어 보이지 않는 위험을 초래합니다. 당사의 AI/ML 앱은 보안 및 규정 준수 팀에 필요한 가시성을 제공하여 중요한 LLM 활동, 사용자 상호 작용 패턴 및 인프라 성능을 포착함으로써, 상황을 파악하면서 AI 도입을 추진할 수 있도록 지원합니다. 다음은 이러한 통합 기능이 에코시스템 전반에 걸쳐 어떻게 상호 작용하여, 빠르게 움직이면서도 제어력을 유지할 수 있도록 지원하는지 자세히 살펴본 것입니다.
LLM 규정 준수
Anthropic Claude AI 규정 준수
퍼블릭 및 엔터프라이즈 LLM을 통한 사용자 상호 작용 관리는 데이터 유출에 대한 첫 번째 방어선입니다. Claude는 Anthropic의 기업용 AI 비서로, 비즈니스 및 기술 팀 전반에서 코딩, 분석 및 콘텐츠 생성에 널리 사용되고 있습니다. Sumo Logic Claude Compliance App은 Claude 활동을 기업에서 이미 신뢰하는 중앙 집중식 플랫폼으로 가져옵니다. Claude Enterprise 및 Claude Platform 활동 로그를 수집하여 이 앱은 API 사용, 인증, 청구, 데이터 액세스, 통합, SSO 및 정책 변경에 대한 중앙 집중식 가시성을 제공하며, 사전 구축된 대시보드와 즉시 사용 가능한 감지 기능을 제공합니다.
모든 사용자 작업은 타임스탬프 및 IP 수준 세부 정보와 함께 자동으로 기록되어 규정 준수 팀에 규제 안심을 위한 지속적이고 검색 가능한 감사 추적을 제공하고, IT 팀에 포괄적인 운영 가시성을 제공합니다. 이 모든 것은 새로운 도구의 오버헤드 없이 가능합니다. 이러한 수준의 가시성을 통해 보안 팀은 의심스러운 액세스 패턴을 신속하게 조사하고, AI 사용이 회사 정책과 일치하는지 확인하고, 여러 시스템을 일일이 조사하지 않고도 감사 준비가 완료된 보고서를 생성할 수 있습니다.
OpenAI ChatGPT 규정 준수
ChatGPT와 Codex는 지식 작업 및 소프트웨어 개발을 위한 OpenAI의 AI 비서로, 직원이 조직 전체에서 연구, 분석, 콘텐츠 생성, 코드 작성 및 워크플로 자동화를 수행할 수 있도록 지원합니다. Sumo Logic의 ChatGPT Compliance App은 조직 전체에서 OpenAI 도구가 어떻게 활용되는지에 대한 심층적인 가시성을 제공합니다. 이 앱은 상세한 메타데이터, 콘텐츠 분석 정보, 엄격한 감사 추적 기능을 활용하여 상호 작용 패턴을 파악하고, 기업 정책을 위반하는 데이터 공유 행위를 표시하며, 잠재적인 규정 준수 위험이 커지기 전에 이를 알려줍니다. 규정 준수 및 보안 팀은 이러한 정보를 손쉽게 활용하여 어떤 직원이 외부 AI 도구와 민감한 데이터를 공유하는지 파악하고, 정책 가드레일을 적용하며, 잠재적인 데이터 노출이 보고 대상 사건으로 이어지기 전에 개입할 수 있습니다.
모델 관리
조직이 성숙해짐에 따라 개발자는 종종 LiteLLM과 같은 프록시를 사용하여 공급자 간에 요청을 라우팅하는 여러 오픈 소스 및 독점 모델을 실험하는데, 이로 인해 예산이 빠르게 분산되고 가시성이 단편화될 수 있습니다. Sumo Logic의 LiteLLM 앱은 이러한 활동을 시각화하여 100개 이상의 다양한 LLM에서 지출을 원활하게 모니터링, 관리 및 추적할 수 있도록 합니다. 이러한 정보를 한 곳에 모아두면 엔지니어링 및 재무 팀은 팀 또는 모델별 비용 초과를 파악하고, 가장 가치가 높은 사용 사례에 예산을 재할당하고, 문제가 발생하기 전에 과도한 지출을 방지할 수 있습니다.
자체 맞춤형 AI 인프라를 구축하는 엔지니어링 팀을 위해 OpenLLMetry는 OpenTelemetry를 확장하여 LLM 호출, 벡터 데이터베이스 및 AI 에이전트에서 추적, 메트릭 및 로그를 캡처하는 오픈 소스 옵저버빌리티 프레임워크입니다. Sumo Logic OpenLLMetry 앱은 표준 OTEL 형식으로 중요한 LLM, 벡터 데이터베이스 및 AI 에이전트 원격 측정 데이터를 수집하므로, 사용자 지정 AI 애플리케이션이 기존 마이크로서비스만큼 측정 가능하고 안전합니다. 이 원격 측정 데이터를 통해 엔지니어링 팀은 LLM 호출의 성능 병목 현상을 정확히 파악하고, 비정상적인 에이전트 동작을 감지하며, 나머지 인프라에 적용하는 것과 동일한 옵저버빌리티 표준을 유지할 수 있습니다.
개발자 생산성
AI는 소프트웨어 개발을 근본적으로 변화시켰지만, 엔지니어링 리더들은 보안 보장과 더불어 가치에 대한 입증이 필요합니다.
GitHub Copilot은 개발자의 IDE 내에서 직접 실시간 코드 제안, 자동 완성 및 채팅을 제공하는 AI 기반 코딩 도우미입니다. Sumo Logic의 GitHub Copilot 앱은 엔지니어링 조직 전체의 Copilot 도입, 참여 및 생산성에 대한 실행 가능한 가시성을 제공합니다.
AI 투자가 효과를 내고 있는지 추측하는 대신, 엔지니어링 리더는 제안 효율성, 언어 사용 및 채팅 활동을 추적하여 실제 영향을 측정할 수 있습니다. 직관적인 대시보드를 통해 도입 추세를 파악하고 사용량이 적거나 참여도가 낮은 팀을 식별할 수 있으므로, 라이선스 비용을 최적화하고 필요한 곳에 지원을 집중하며 AI 툴 투자에 대한 명확한 비즈니스 사례를 구축할 수 있습니다.
엔터프라이즈 클라우드 AI 모니터링
대규모 클라우드 AI 인프라를 활용하는 조직은 기본 플랫폼 런타임을 면밀히 모니터링해야 합니다.
AWS AI 모니터링
Amazon Bedrock은 자율 AI 에이전트 구축 및 실행을 포함하여 선도적인 AI 제공업체의 기반 모델에 액세스하고 배포하기 위한 AWS의 완전 관리형 서비스입니다. Sumo Logic Amazon Bedrock 및 Bedrock AgentCore 앱은 CloudTrail, CloudWatch 로그 및 런타임 성능 메트릭에 대한 심층적인 인사이트를 제공합니다. 이러한 사전 구성된 대시보드를 사용하면 에이전트 런타임, 메모리 할당, API 게이트웨이, 내장 도구 및 ID 서비스를 포함한 Bedrock 서비스의 로그를 모니터링하고 상태를 추적할 수 있습니다. 이러한 운영 데이터를 통해 클라우드 및 보안 팀은 잘못 구성된 에이전트를 감지하고 런타임 이상에 대응하며, AI 인프라가 AWS 환경의 나머지 부분과 동일한 규정 준수 기준을 충족하도록 보장할 수 있습니다.
맞춤형 모델을 구축하는 팀을 위해 Amazon SageMaker는 맞춤형 머신러닝 모델을 대규모로 구축, 학습 및 배포할 수 있는 AWS의 엔드투엔드 플랫폼입니다. Sumo Logic Amazon SageMaker 앱을 사용하여 학습 및 배포 빌드의 로그와 성능 메트릭을 모니터링함으로써 사용자 지정 머신러닝 파이프라인을 면밀히 관리하세요. 이러한 가시성을 통해 ML 엔지니어는 실패한 학습 실행을 조기에 발견하고, 시간이 지남에 따라 모델 성능을 추적하며, 프로덕션 환경에서 배포가 예상대로 작동하는지 확인할 수 있습니다.
Microsoft AI 모니터링
Microsoft 환경을 사용하는 조직은 분산 컴퓨팅 리소스 전반에 걸쳐 ML 모델을 구축, 학습 및 운영하기 위한 클라우드 플랫폼으로 Azure Machine Learning을 사용합니다. Sumo Logic Azure Machine Learning 앱을 사용하여 작업 공간의 개별 노드에서 학습 실행, 모델 배포 및 리소스 사용량을 추적하세요. 플랫폼 및 ML 운영 팀은 유휴 컴퓨팅 리소스를 식별하고, 배포 실패를 트러블슈팅하며, 분산 워크로드 전반에 걸쳐 비용을 최적화할 수 있습니다.
Microsoft Foundry는 독점 데이터 및 인프라 상에서 AI 모델을 사용자 지정, 미세 조정 및 배포하기 위한 Microsoft의 엔터프라이즈 플랫폼입니다. Sumo Logic의 Microsoft Foundry App은 Microsoft Foundry 리소스의 활동, 상태 및 건전성에 대한 중요한 운영 가시성을 제공하여 엔터프라이즈 데이터 패브릭이 최적의 상태로 안전하게 실행되도록 보장합니다. 이러한 추가적인 가시성을 통해 IT 및 보안 팀은 독점 데이터에 대한 무단 액세스를 모니터링하고, 미세 조정된 모델이 예상 매개변수 내에서 작동하는지 검증하며, 가장 민감한 자산 위에 구축된 AI에 대한 거버넌스를 유지할 수 있습니다.
시작하기
AI 도입은 새로운 조직적 사일로나 운영상의 사각지대를 만들어내서는 안 됩니다. Sumo Logic에 이러한 AI 및 ML 앱을 통합함으로써 조직은 엄격하고 중앙 집중화된 보안 태세를 유지하면서도 신속하게 혁신할 수 있다는 확신을 얻게 됩니다. 보안 팀이 기업 자산을 보호하기 위해 필요한 모든 맥락, 가시성 및 제어 권한을 확보하고 있다는 확신을 바탕으로 비즈니스 부서가 최첨단 AI 도구를 자유롭게 사용할 수 있도록 지원하십시오.
AI 파이프라인을 안전하게 보호하고 배포를 최적화할 준비가 되셨나요? AI/ML 카테고리를 살펴보려면 Sumo Logic App Catalog로 이동하세요. 또는 오늘 저희 팀과 함께 진행되는 맞춤형 데모를 요청하세요.
매달 새로운 앱과 통합 기능을 추가하고 있으니, 최신 항목을 확인하려면 App Catalog의 AI/ML 섹션을 주시해 주세요.
