비효율적인 AI 보안 정책을 멈춰라: 해답은 위협 모델이다

누군가 AI 정책을 어떻게 세워야 할지 물을 때마다 마음이 조금씩 무너집니다. 질문이 잘못된 것은 아닙니다. 하지만 제 대답은 늘 같습니다. ‘이번만큼은 제발 두려움만으로 정책을 만들지 말아야 합니다.’ 대부분의 사람들은 AI 아키텍처가 어떻게 작동하는지 잘 모릅니다. 그래서 첫 반응은 언제나 ‘두려워하는 것’입니다.

하지만 이건 새로운 일이 아닙니다. 하지만 이러한 두려움은 클라우드, 모바일, BYOD의 경우에도 모두 같았습니다. 새로운 기술이 등장할 때마다 보안팀은 ‘사용 금지!’를 외치며 ‘거절 부서(Department of No)’로 변하여 ‘ChatGPT는 사용하면 안 됩니다. 기밀이 유출될 수 있습니다.’라고 말합니다. 

그러는 동안, 그 엔지니어는 고객 ID를 퍼블릭 GitHub 이슈에 붙여넣고 있습니다. 정말 아이러니합니다.

두려움에 기반한 반응은 확장되지 않는다

두려움은 전략이 아닙니다. ‘AI 사용 금지’라고 한다고 해서 위험이 줄어드는 것은 아닙니다. 오히려 다음과 같은 일이 일어나게 됩니다.

• 섀도 IT: 어차피 직원들은 몰래 사용할 것입니다
  
• 일관성 부족: Microsoft Copilot은 허용하면서 ChatGPT는 금지
  
• 보안팀에 대한 신뢰 상실: 보안 업무에서 가장 중요한 요소
  

조직 내에서 안전하고 합리적인 AI 활용을 실현하려면, 즉흥적인 제한이 아닌 위협 기반 의사결정(threat-informed decisions)으로 전환해야 합니다.

위협 모델 없는 정책은 단순한 편집증일 뿐이다

진정한 보안 정책은 다음 세 가지 질문에 답할 수 있어야 합니다.

• 무엇을 보호하는가?
  
• 누구로부터 보호하는가?
  
• 어떤 방식으로 실패할 수 있는가?
  

이것이 바로 위협 모델링(threat modeling)입니다. 이는 AI에도 그대로 적용됩니다.

예를 들어 개발팀이 ChatGPT를 이용해 지원 사례를 요약하려 한다고 가정해 보겠습니다.

• 자산: 내부 지원 문서
  
• 위협: 프롬프트 인젝션, 정보 유출, 환각
  
• 영향: 워크플로우 유출, 잘못된 고객 안내
  
• 통제: 템플릿 사용, PII 미포함, 감사 로그
  

이제 ‘아니요, 분위기상 안 됩니다.’가 아니라 ‘예, 단 가드레일(보호 장치) 내에서 가능합니다’라고 말할 수 있습니다.

거지 같지 않은 간단한 프레임워크

단순하지만 효과적인 프레임워크 조직 전체에서 안전한 AI 사용을 유지하려면 다음 단계를 따라야 합니다.

1. 인벤토리 및 검색: 몰래 사용하는 경우를 포함한 모든 AI 사용 현황을 파악합니다. 개발, 마케팅, 인사, 법무팀 등 어디서나 사용되고 있을 수 있습니다.
   
2. 데이터 분류: 어떤 정보가 민감한지 파악합니다. PII, 소스 코드, 또는 전략 문서일 수도 있습니다.
   
3. 허용/모니터링/차단 영역 설정: 모든 것을 금지할 필요는 없습니다. 계층형 모델을 사용하여 위험과 생산성 간의 균형을 맞춰야 합니다.
   
4. 가드레일 및 로깅: 프롬프트 필터, 출력 검증, 세션 기록 등 AI 게이트웨이를 적극 활용해야 합니다.
   
5. 방해 대신 지원할 것: 각 팀과 협력해야 합니다. ‘사용 금지’는 장기적인 정책이 될 수 없습니다.
   

간과하기 쉬운 5가지 정책 영역

1. 섀도 파인튜닝: 이제 누구나 내부 데이터를 기반으로 LLaMA 모델을 파인튜닝할 수 있습니다. 한 번 학습된 모델을 되돌리긴 어렵습니다.
   
2. 프롬프트 IP 유출: 프롬프트가 곧 로직입니다. 엔지니어가 그걸 Discord에 붙여넣지 않도록 해야 합니다.
   
3. 브라우저 확장 프로그램: Jasper, Rewind, Merlin — 멋진 이름의 데이터 유출 도구입니다.
   
4. AI가 작성한 법률 문서: ‘보증 조항’을 허위로 작성한 문서가 실제 계약에 들어갈 수도 있습니다.
   
5. 자율형 에이전트: PM이 만든 Zapier+GPT 자동화가 고객에게 이메일을 보내는 중일 수도 있습니다. 이런 일이 있어서는 안 됩니다.
   

이 모든 사안에 각각 위협 모델, 위험 매트릭스, 정책 방향이 필요합니다. 한눈에 이해하기 쉽도록 다음과 같이 표로 정리할 수 있습니다.

시각화하지 않으면 힘들다

일반적인 위협 모델링 다이어그램을 다음과 같이 간단하게 설명하겠습니다.

• 행위자
  
• 위협
  
• 자산
  
• 영향
  
• 통제
  

이 다섯 가지 요소를 화이트보드에 적고 서로 연결해 보세요. 놀랍게도, 쉽게 설명이 됩니다. 추가로, 보안팀 외의 사람들(개발, 영업, 마케팅 등) 을 함께 참여시키면 더 좋습니다. 부서 간 다리를 놓을 수 있고, 문제를 다양한 관점에서 바라볼 수 있습니다.

마지막으로

AI 정책은 단순히 ‘허용’이나 ‘금지’의 문제가 아닙니다.

정말 중요한 것은 다음 세 가지를 파악하는 것입니다.

• 어떤 사례에 사용할 것인가?
  
• 어떤 위험이 있는가?
  
• 통제할 수 있는가?
  

보안팀의 역할은 도덕 경찰이 아닙니다. 비즈니스를 안전하게 지원하는 것이 본연의 역할입니다.

금지하는 것만이 해결책이 아닙니다. 위협 모델링을 적용해야 합니다. 그러면 사람들도 더 이상 AI 사용을 숨기지 않을 것입니다.

AI 정책은 전쟁의 절반에 불과합니다. AI 데이터 프라이버시 뒤에 숨은 위험 지형을 이해해야 합니다.