작은 LLM 애플리케이션 개발부터 관측까지

요즘 많이 사용되는 AI 애플리케이션은 대규모 언어 모델(LLM)을 기반으로 구축되는 경우가 많습니다. 하지만 LLM은 출력 결과를 예측하기 어렵고 워크플로우가 복잡하기 때문에 이슈를 진단하거나, 성능을 최적화하거나, 데이터 처리 과정을 이해하는 데 어려움이 따릅니다. LLM 체인의 각 단계에 대한 가시성을 확보해야만 효율성을 개선하고 문제를 빠르게 해결할 수 있습니다.

Datadog의 LLM Observability를 활용하면 입력/출력 텍스트, 레이턴시 메트릭, 토큰 사용량, 오류 등 다양한 데이터를 캡쳐하여 LLM 기반 애플리케이션을 처음부터 끝까지 추적할 수 있습니다. 임베딩, 검색, 생성 등의 단계별 추적이 가능하므로 비정상 출력, 지연, 오류 발생 시 근본 원인을 효과적으로 파악할 수 있습니다. 또한 성능 이슈나 비용 관련 문제를 해결하는 데도 큰 도움이 됩니다.

이번 실습 워크숍에서는 OpenAI의 Python SDK를 활용하여 RAG(Retrieval-Augmented Generation) 방식의 챗봇 애플리케이션을 직접 구축해 봅니다. 로컬 모델과 연동해 LLM 호출을 구현하고, Datadog의 LLM Observability 기능을 애플리케이션에 적용합니다. 자동 계측(auto-instrumentation)과 코드 내 수동 설정(manual, in-code setup)을 모두 사용하여 추적 데이터를 수집하고, 이를 분석하여 애플리케이션 동작과 LLM 처리 단계 간의 관계를 이해하게 됩니다.이후 추적 정보를 바탕으로 성능 저하나 오류가 발생하는 부분을 찾아 개선하고, 변경 사항이 실제 동작에 어떤 영향을 미치는지 관찰합니다.

워크숍을 마치면, LLM 애플리케이션의 작동 방식을 깊이 이해하고, Datadog의 옵저버빌리티 도구를 활용하여 성능을 개선하는 데 필요한 실무 역량을 키울 수 있습니다.