이번 Masters of Data의 에피소드에서 Adam White와 David Girvin은 Sumo Logic이 새롭게 출시한 Claude, ChatGPT, LiteLLM용 규정 준수 앱을 자세히 살펴보고, 토큰 청구서가 나오기 전에 IT 팀이 왜 이에 주목해야 하는지 알아봅니다. 기업이 AI 블랙홀로 여겨지던 섀도 IT 시대를 벗어나, 누가 무엇을 사용하고 있는지, 비용은 얼마나 드는지, 그리고 그것이 실제로 어떤 변화를 만들어 내고 있는지 파악하는 방법을 분석합니다. 우버가 연간 AI 예산을 몇 달 만에 소진한 사례부터 마이크로소프트가 AI 비용이 인력 비용을 앞지르는 것을 지켜본 사례까지, 몇 가지 교훈적인 실제 사례를 통해 승인되고 관찰 가능한 AI 도입의 필요성을 설명합니다. 이번 에피소드는 IT 리더, 보안 팀, AI 프로그램 담당자, 그리고 업무상 “ROI를 보여 달라”는 요구를 받는 모든 분께 꼭 들어보시기를 권합니다.
0:00 — 소개
0:33 — 주제 개요: Claude, ChatGPT, LiteLLM 및 규정 준수 앱
1:03 — LiteLLM, OpenAI 및 Claude 규정 준수 앱 설명
2:19 — 규정 준수 앱이 실제로 다루는 내용(지출, 신원, 액세스, 지오 차단)
3:56 — 섀도 IT로서의 AI vs. 공식적으로 승인된 기업 도구
5:38 — LLM 관찰 가능성, 개인 식별 정보 필터링 및 에이전트 가시성 문제
7:09 — 수세에 몰린 IT: 생산성과 보안 간 트레이드오프
8:07 — AI 담당 부사장(VP of AI) 역할과 전사적 가교 역할 구축
9:17 — 토큰 소각, ROI 정량화 및 첫 단계로서의 규정 준수 앱
11:36 — Meta의 토큰 소각 기반 직원 평가: 경고적 사례
12:41 — 활용 지원, Claude Code 및 구조화된 에이전트 개발
13:31 — 20,000명의 가상 개발자 관리: 동일한 규칙 적용
13:45 — AI에 대한 개발자 반응: 회의론자 vs. 파워 유저
14:37 — 에이전트 코딩에서 지속적인 병목 지점으로 남아 있는 QA
15:24 — 실제 AI 지출 급증: 우버의 2026년 예산 스토리
16:16 — 토큰 소각은 실제로 그만한 가치가 있을까요? 혁신 vs. ROI
17:59 — 주가 추구 vs. 진정한 생산성 향상
19:11 — 직원 비용을 초과하는 마이크로소프트의 AI 비용; 안전장치로서의 규정 준수 앱
21:41 — 과도한 자동화 이후 주니어 개발자 재고용; 시장의 과도한 조정
22:43 — 미래 채용 구분: 에이전트 강화형 시니어 개발자와 토큰 예산
24:14 — 효과적인 내부 AI 전략 구축: 쉬운 과제와 인수인계 자동화
26:26 — 이사회에 ROI 입증하기; Sumo Logic의 Mobot 및 맞춤형 대시보드
27:38 — AGI에 대한 기대 vs. 현실; AI의 가장 큰 수혜자인 창의적 사고가 가능한 인재들
28:45 — 플러그인, 스킬 및 AI를 통한 “성공”의 정의
30:10 — 승인된 AI 사용이 가능하게 하는 실질적 생산성(스프레드시트 사례)
32:59 — Claude Code 원격 제어, 음성 받아쓰기 및 비동기 에이전트 작업
33:56 — claude.md 컨텍스트 로딩 팁 및 지속적인 프로젝트 컨텍스트
35:07 — 마무리: 끊임없이 진화하는 디지털 환경을 탐색하기