모든 재미는 애플리케이션 계층에서 일어난다고 생각했던 때를 기억하시나요? 방화벽, WAF, EDR, 대시보드 등 많은 보안 산업 업체가 앱의 동작 감시를 목적으로 창업했습니다. “에이전트형 AI”가 주도권을 잡자 중위권 업체는 우회로를 선택했습니다. AI 버디는 UI나 API를 클릭하는 대신 바로 시스템을 호출하여 OS 및 하드웨어 차원에서 워크플로를 자동화했습니다.
이는 마치 자만심이 넘치는 인턴을 고용하여 루트 액세스 권한을 부여한 후 “걱정하지 마, 잘 해낼 거야.”라고 말하는 것과 같습니다. 별 문제 없겠죠?
Respond faster with Sumo Logic Dojo AI
Cut through the noise, detect threats faster, and resolve issues before they disrupt your operations.
아무도 인정하고 싶지 않은 위험성
사실 꽤 많은 것들이 드러났습니다.
• 보안 블랙홀: AI가 OS 계층에서 작동한다면 OS 계층에서도 문제를 일으킬 수 있습니다. 설정 입력 실수는 잊으세요. 커널 권한이 있는 AI에 대해 이야기하고 있으니까요. 잘못된 프롬프트나 오염된 데이터 세트가 하나만 있어도 Slack 메시지가 잘못 전달되는 것 뿐만 아니라 파일 시스템이 재작성됩니다.
• 데이터 가시성? 어떤 데이터 가시성인가요? 가시성을 위해 파이프라인을 구축한 깔끔하고 정돈된 앱 계층 로그말인가요? 사라졌습니다. 이제 복잡한 데이터 스트림과 AI의 섣부른 의사 결정에 대한 문제를 처리해야 하고 모니터링해야 할 병목 지점은 줄었습니다. “단일창”이 아니라 “뿌연 거울”이라고 생각하세요.
• 확장된 공격 표면: AI가 앱을 우회한다고 해서 취약성이 사라지는 것이 아니라 오히려 증가합니다. 펌웨어, 드라이버, 모호한 시스템 호출. 개발자와 보안 담당자라면 건드리고 싶지 않은 취약한 부분을 소개합니다.
• 블렌더에 게시된 위협 모델: 화이트보드에 그린 깔끔한 레이어 케이크 다이어그램(사용자 → 앱 → OS → 하드웨어)을 기억하시나요? 그건 잊으세요. AI 기반 에이전트는 레이어를 단락시켜 기존 모델은 잡아내지 못하는 예기치 않은 계층 간 혼란을 일으킬 수 있습니다.
그럼 이제 어떻게 하면 되나요?
AI가 앱 계층을 건너뛰는 경우 보안 전략도 이에 맞춰야 합니다. 다음 요소에 맞추세요.
• 새로운 위협 모델: AI가 시스템 수준의 액세스 권한을 가지고 있다고 가정합니다. 그리고 그렇게 될 겁니다. 여기에 맞게 모델을 업데이트하세요.
• 하위 계층 가시성: 앱 로그로는 더 이상 충분하지 않습니다. OS 및 하드웨어 수준의 통합 가시성에 투자하세요. 대부분의 사람들이 무시했던 원격 측정에 익숙해지세요.
• AI 운영을 위한 가드레일: 인턴이 사수의 지도 없이 프로덕션 운영을 맡기지 않는 것처럼 AI 에이전트가 제약 없이 운영되어서는 안 됩니다. 최소 권한, 샌드박스, 런타임 검사 등 AI 운영을 위해서는 모두 발전해야 합니다.
• 하드웨어 및 OS 공급업체 역할 확대: 앱 계층을 건너뛰면 그 부담은 하위 계층으로 전가됩니다. 하드웨어 및 OS 제공업체가 신뢰, 검증 및 롤백을 위해 더 많은 “AI 안전” 기본 기능을 제공할 것으로 기대하고 요구도 해야합니다.
최종 의견
에이전트형 AI는 ‘나쁘지’ 않지만 매우 혁신적입니다. 우리는 앱 계층 가시성의 편리함을 포기하고 AI가 OS와 하드웨어에 직접 다루는 새로운 규칙이 적용된 좀비 랜드를 선택했습니다. 지금 가시성, 위협 모델링, 가드레일을 재고하지 않으면 다음 침해 사고는 “죄송합니다, S3 버킷 오류입니다.”로 끝나지 않을 것입니다. AI 인턴이 프로덕션 서버 시스템 관리자가 될 것입니다.
가드레일을 설치할 준비가 되셨나요? 강화된 AI 보안 정책을 작성하는 방법을 알아보세요.
