모든 흥미로운 일은 애플리케이션 계층에서 일어난다고 생각했던 시절을 기억하시나요? 방화벽, WAF, EDR, 수많은 대시보드 등 보안 산업 전체가 애플리케이션의 동작을 감시하기 위해 구축되었습니다. 하지만 ‘에이전트형 AI’가 주도권을 잡으면서 그 중간 계층은 점점 우회로로 바뀌고 있습니다. 이제 AI는 UI나 API를 클릭하는 대신 시스템을 직접 호출하여 OS 및 하드웨어 수준에서 워크플로를 자동화하고 있습니다.
이는 마치 자신감만 넘치는 인턴을 고용하여 루트 액세스 권한을 주고는 “걱정하지 마, 잘 해낼 거야.”라고 말하는 것과 같습니다. 과연 아무런 문제도 없을까요?
Respond faster with Sumo Logic DojoAI
Cut through the noise, detect threats faster, and resolve issues before they disrupt your operations.
아무도 인정하고 싶지 않은 위험성
사실 꽤 많은 것들이 드러났습니다.
• 보안 블랙홀: AI가 OS 계층에서 동작할 수 있다면, OS 계층에서도 문제를 일으킬 수 있습니다. 단순한 설정 실수는 이제 문제가 아닙니다. 지금 우리가 이야기하고 있는 건 커널 권한을 가진 AI입니다. 잘못된 프롬프트나 오염된 데이터 세트가 하나만 있어도, 단순히 Slack 메시지가 잘못 전송되는 수준이 아니라 파일 시스템이 다시 작성될 수 있습니다.
• 데이터 가시성을 찾으시나요?: 파이프라인까지 구축하며 만들었던 깔끔하고 정돈된 애플리케이션 계층 로그들은 사라졌습니다. 이제는 혼탁한 데이터 스트림과 AI의 불완전한 의사 결정을 다뤄야 합니다. 모니터링해야 할 병목 지점은 줄었습니다. ‘단일창’이 아니라 ‘뿌연 거울’이라고 생각하시면 됩니다.
• 확장된 공격 표면: AI가 앱을 우회한다고 해서 취약점이 사라지는 것은 아닙니다. 오히려 늘어납니다. 이제는 펌웨어와 드라이버, 모호한 시스템 호출 등 개발자와 보안 담당자가 손대길 꺼려했던 취약한 부분까지 다뤄야 합니다.
• 엉망이 된 위협 모델: 화이트보드에 그린 깔끔한 레이어 케이크 다이어그램(사용자 → 앱 → OS → 하드웨어)을 기억하시나요? 그건 잊으세요. AI 기반 에이전트는 계층을 단락시켜 기존 모델로는 포착할 수 없는 예측 불가능한 교차 계층 혼란을 일으킬 수 있습니다.
그럼 이제 어떻게 하면 되나요?
AI가 앱 계층을 건너뛰는 경우 보안 전략도 이에 맞춰야 합니다. 다음 요소에 맞추세요.
• 새로운 위협 모델: AI가 시스템 수준의 액세스 권한을 가지고 있다고 가정합니다. 그리고 그렇게 될 겁니다. 여기에 맞게 모델을 업데이트하세요.
• 하위 계층 가시성: 앱 로그로는 더 이상 충분하지 않습니다. OS 및 하드웨어 수준의 옵저버빌리티에 투자하세요. 대부분의 사람들이 무시했던 텔레메트리에 익숙해지세요.
• AI 운영을 위한 가드레일: 인턴이 사수의 지도 없이 프로덕션 운영을 맡기지 않는 것처럼 AI 에이전트가 제약 없이 운영되어서는 안 됩니다. 최소 권한, 샌드박스, 런타임 검사 등 AI 운영을 위해서는 모두 발전해야 합니다.
• 하드웨어 및 OS 공급업체 역할 확대: 앱 계층을 건너뛰면 그 부담은 하위 계층으로 전가됩니다. 하드웨어 및 OS 제공업체가 신뢰, 검증 및 롤백을 위해 더 많은 ‘AI 안전’ 기본 기능을 제공하길 기대하고 요구해야 합니다.
최종 의견
에이전트형 AI는 ‘나쁘다’고 할 수 없습니다. 하지만 파괴적입니다. 우리는 앱 계층 가시성의 편리함을 버리고, AI가 OS와 하드웨어에 직접 접근하는 새로운 규칙이 적용된 좀비 랜드를 선택했습니다. 지금 가시성, 위협 모델링, 가드레일을 재고하지 않으면 다음 침해 사고는 “죄송합니다, S3 버킷 오류입니다”로 끝나지 않을 것입니다. AI 인턴이 프로덕션 서버의 시스템 관리자 역할을 맡게 될 수 있습니다.
가드레일을 설치할 준비가 되셨나요? 강화된 AI 보안 정책을 작성하는 방법을 알아보세요.
