프라이버시의 착각: 데이터를 삭제해도 실제로는 삭제되지 않을 때

개인정보 보호에 대해 이야기해 보겠습니다. 특히, ‘삭제’ 버튼을 눌렀을 때 사라졌다고 생각되는 정보를 중심으로 살펴보겠습니다.

OpenAI는 삭제된 대화를 포함한 모든 ChatGPT 대화 내용을 보관하라는 법원의 명령을 받았습니다. 난감한 대화도 보관해야 합니다. ‘만일 내가…’로 시작하는 가정적 대화도 마찬가지입니다.

이유가 무엇일까요? 뉴욕타임스가 저작권 문제로 OpenAI를 상대로 소송을 제기했고, 이제 삭제된 모든 대화가 잠재적인 증거가 될 수 있기 때문입니다. 기업 요금제를 사용하거나, (예컨대 JPMorgan처럼) 별도의 특별 계약을 맺지 않았다면, 로그는 OpenAI의 서버에 그대로 보존됩니다.

이는 단순한 한 건의 소송 문제가 아닙니다. 프라이버시에 대한 일반적 담론과 실제로 프라이버시가 다뤄지는 방식 사이의 격차가 점점 더 커지고 있다는 것이 문제입니다.

‘제로 보존’ 신화

모든 AI 회사가 이렇게 말합니다.

‘당사는 귀하의 개인정보를 매우 중요하게 생각합니다.’

물론, 변호사가 나타나기 전까지는 그렇습니다. 그 순간, 우리가 ‘삭제했다’고 믿었던 로그는 ‘규정 준수를 위해 임시로 보존 중인 데이터’가 됩니다. 그리고 그 ‘임시’는 사실상 영원합니다.

다음과 같이 쉽게 설명해 보겠습니다.

• 일반 사용자의 경우, 대화 내용이 보존됩니다.
  
• 법적 책임이 있을 경우, 보존됩니다.
  
• 모델 개선에 도움이 되는 데이터라면? 당연히 해당 토큰도 보존됩니다.
  

법적 계약으로 달리 정해져 있지 않다면, LLM에 입력한 모든 내용은 법정이든 그 외의 장소든, 언젠가 우리에게 불리하게 돌아올 수 있다고 생각해야 합니다.

왜 이것이 보안 악몽인가

이번 법원 명령으로 OpenAI는 이제 개인 식별 정보(PII), 기업 비밀, 그리고 사람들이 새벽 2시에 없어지겠지 하고 쓴 별별 어처구니없는 텍스트까지 모두 모여 있는 중앙 집중형 정보 창고가 되었습니다. 절대 없어지지 않습니다.

이때 다음과 같은 상황에 직면하게 됩니다.

• 민감한 프롬프트를 마음껏 쿼리할 수 있는 대규모 데이터베이스.
  
• 리스크가 아니라 법적 증거 보전 요구에 따라 결정되는 보존 정책.
  
• ‘삭제’를 눌렀으니 안전하다고 아직도 믿고 있는 사용자들.
  

그리고 더 나쁜 것은 공격자도 이 사실을 알고 있다는 점입니다.

AI가 법의 영역과 만날 때 벌어지는 일 

보안 문제는 기술적인 차원에만 있는 것이 아닙니다. 법적, 절차적, 아키텍처적 문제이기도 합니다. 이번 판결은 하나의 선례를 만들었습니다. 법원은 AI 회사가 자체 개인정보 보호 정책을 위반하도록 강제할 수 있으며, 사용자는 약관을 아주 자세히 읽지 않는 이상 이를 알 수 없습니다.

‘왼쪽으로 이동(Shift left)’보다는 법률적 관점으로의 이동(shift legal)이 필요합니다. 보안 정책은 반드시 법원 명령이 회사의 데이터 보존 정책과 충돌할 때 어떤 조치를 취할 것인가를 명시적으로 다루어야 합니다. 왜냐하면 이런 상황이 앞으로 반드시 일어나기 때문입니다.

무엇을 해야 하는가

AI를 사용하는 기업의 대책

• 프롬프트를 외부로 보내기 전에 직접 정제해야 합니다. OpenAI는 이 작업을 대신해 주지 않습니다.
  
• 제로 보존(Zero Retention) 계약을 맺어야 합니다. 아니면 자체 로컬 LLM을 구축해야 합니다.
  
• 직원 교육을 통해 ‘ChatGPT는 친구가 아니라 법정 증언으로 이어질 수도 있는 도구다’라는 사실을 가르쳐야 합니다.
  

AI를 구축하는 기업의 대책

• 기본값이 ‘임시’인 메모리를 구축해야 합니다. 그렇지 않다면, 프라이버시를 중요하게 여긴다고 말할 수 없습니다.
  
• 데이터 보존은 기본값이 아니라 선택 사항이어야 합니다. 그리고 그 선택을 요금제와는 절대로 연동해서는 안 됩니다.
  

그리고 보안을 위해서 법무팀이 제품의 신뢰성 문서를 작성하지 말아야 합니다.

최종 의견

미래는 기본적으로 프라이빗하지 않습니다. 협상을 통해서만 프라이버시가 보장되는 시대입니다. 이번 판례가 그 사실을 완전히 증명했습니다.
AI 스택이 신뢰를 기반으로 구축되었다면, 먼저 이렇게 질문해야 합니다. ‘누가 실제로 로그를 통제하고 있는가?’ 

왜냐하면 이제 ‘삭제’라는 단어는 더 이상 우리가 알던 그 의미가 아니기 때문입니다.

Sumo Logic은 항상 ‘조사를 위해 로그는 모두 보존해야 한다’고 해왔지만, 이런 의미는 아니었습니다. 여전히 로그에 대한 가시성, 모니터링, 그리고 보안 체계는 제대로 갖춰야 합니다. 이제 다음 단계는 AI 도구에도 로깅을 설정하고 작은 실수가 곧바로 보안 사고로 이어질 수 있는 행위를 탐지하는 알림을 구축하는 것입니다.

데이터는 사라지지 않습니다. 따라서 Sumo Logic으로 모니터링해야 합니다.