결정론적 설계: AI가 파이프라인을 자유롭게 운영할 수 없는 이유

이번 Masters of Data 에피소드에서는 Sumo Logic의 제품 관리 수석 부사장인 Ben Cody와 함께 데이터를 A 지점에서 B 지점으로 이동하는 것이 이제 쉬워진 시대에 데이터 파이프라인 관리가 무엇을 의미하는지 살펴봅니다. Ben은 AI가 할 수 있는 일과 할 수 없는 일 사이에 명확한 선을 그으며, AI는 구성을 생성하고 격차를 표시해야 하지만 파이프라인 자체는 결정론적이어야 하며 매번 동일한 방식으로 실행되어야 한다고 주장합니다. 또한 유해한 데이터, 텔레메트리 볼륨이 예산을 초과하는 이유, 그리고 “vibelines”의 우연한 탄생에 대해서도 논의합니다. 에이전트 트래픽으로 인해 인제스트 비용이 증가하는 것을 지켜보고 있는 보안 및 SRE 팀은 커버리지를 포기하지 않으면서 보관할 데이터를 형성하는 방법에 대해 많은 정보를 얻을 수 있습니다.