에이전트와 LLM을 위한 실무 중심의 AI 기반 옵저버빌리티

AI 에이전트를 개발하라”는 요구를 받았지만, 구체적으로 무엇을 만들어야 하는지, 어떻게 잘 구현할지, 제대로 작동하는지 어떻게 확인할지 명확한 지침이 없는 경우가 많습니다. 데이터 사이언티스트가 아닌 소프트웨어 엔지니어는 이러한 과제에 어떻게 접근해야 할까요?

이번 세션에서는 Datadog의 AI 제품 담당 프로덕트 매니저 Shri Subramanian이 기존 애플리케이션 개발에서 AI 에이전트 개발로 전환할 때 무엇이 달라지는지 설명합니다. 기존의 테스트 방식과 개발부터 배포까지 일방향으로 진행되는 프로세스의 한계를 짚어보고, 개발의 초점이 코드를 넘어 데이터, 프롬프트, 평가로 확장되는 이유를 살펴봅니다. 또한 시스템이 안정적으로 작동하는 것만큼 에이전트가 의도한 작업을 정확하고 일관되게 수행하는 것이 중요한 이유도 다룹니다.

이어서 Datadog가 에이전트를 직접 출시하고 내부에서 사용하며 얻은 경험을 공유하고, LLM Observability와 실험, 평가 기반 개발에 어떻게 접근하는지 소개합니다. 세션을 통해 에이전트 개발을 체계적으로 이해하고, 에이전트를 자신 있게 개발하고 성능을 측정·개선하는 데 바로 적용할 수 있는 실무 지침과 구체적인 실행 방안을 얻을 수 있습니다.