이번 Masters of Data 에피소드에서는 토큰포칼립스라고 부르는 현상, 즉 대부분의 조직이 조용히 진입한 규모에서 AI를 운영하는 실제 비용에 대해 살펴봅니다. 지난 2년간의 급변하는 상황을 추적해 보겠습니다. “모두가 AI 해머가 필요하다”는 주장에서 명백한 AI 쓰레기에 대한 반발까지, 그리고 미션 크리티컬 프로세스가 토큰을 소진했을 때 어떤 일이 발생하는지에 대한 더 어려운 질문으로 나아갑니다. Claude와 Databricks를 연결하여 커스텀 대시보드를 구축하는 것부터 Uber가 4월까지 소진한 것으로 알려진 엄청난 예산까지 다룹니다. 또한 더 저렴한 중국 프론티어 모델, 로컬화되고 특화된 AI로의 전환, 그리고 현재의 AI 인프라 구축이 실제로 자체 비용을 충당할 수 있는지 여부에 대해서도 살펴봅니다. 예산에서 AI 항목을 관리하고 있거나 모델이 항상 사용 가능하다고 조용히 가정하는 워크플로를 구축하고 있다면, 이 대화는 유용한 현실 점검이 될 것입니다.
0:00:00 – 인트로 및 진행자 대화 0:00:35 – “토큰포칼립스” 명명하기 0:02:03 – “AI 해머를 사용하세요”에서 AI 쓰레기에 대한 반발까지 0:04:56 – Claude와 Databricks를 연결하여 대시보드 구축하기 0:06:02 – 미션 크리티컬 작업에서 토큰 소진, Uber의 예산 초과 0:08:30 – 전체 데이터 레이크를 AI에 투입하면 토큰이 낭비되는 이유 0:11:13 – 더 저렴한 중국 모델과 가격 책정 파급 효과 0:13:08 – ChatGPT에서 Claude로, 로컬화된 AI의 사례 0:15:21 – AI 인프라 구축이 잘못된 미래를 위해 설계되었는지 여부 0:19:52 – 마무리