Agent Observability : de la configuration aux insights

Technologie clé des applications IA modernes, les grands modèles de langage (Large Language Models, LLM) affichent pourtant des comportements imprévisibles et des workflows complexes. Dès lors, il devient difficile de diagnostiquer les problèmes, d’optimiser les performances et de comprendre comment ils traitent les données. Sans visibilité sur chaque étape d’une chaîne LLM, le diagnostic et l’optimisation de l’efficacité peuvent vite devenir un casse-tête.

La solution Agent Observability de Datadog vous donne de la visibilité sur les performances opérationnelles pour que vous puissiez assurer la qualité, la sûreté et la sécurité de vos applications LLM. Le traçage de bout en bout capture entrées, sorties, métriques de latence, utilisation de tokens et erreurs. En traçant chaque étape de la chaîne LLM, notamment l’embedding, la récupération et la génération, les équipes peuvent identifier les causes profondes des résultats inattendus, de la latence et des erreurs. Ce suivi facilite ainsi le diagnostic des problèmes de performance et la maîtrise des coûts.

Dans cet atelier pratique, vous créerez un chatbot incluant un workflow RAG (Retrieval-Augmented Generation) avec OpenAI Python SDK afin de passer des appels à des modèles locaux. Vous instrumenterez ensuite l’application pour la solution Agent Observability de Datadog en associant instrumentation automatique et configuration manuelle dans le code afin de collecter des traces. Vous analyserez ensuite ces traces pour lier le comportement de l’application aux différentes étapes de la chaîne LLM, identifierez les points à améliorer, appliquerez les modifications et observerez les résultats.

À l’issue de cet atelier, vous disposerez d’une expérience pratique dans l’utilisation des outils d’observabilité de Datadog pour comprendre le comportement des applications LLM et améliorer leurs performances.

Niveau : Débutant