Crie com o Agent Observability: da configuração ao sinal

Os grandes modelos de linguagem (LLMs) são a base das aplicações modernas de IA, mas seu comportamento imprevisível e seus workflows complexos dificultam o diagnóstico de problemas, a otimização de perfomance e a compreensão da forma como processam dados. Sem visibilidade de cada etapa de uma cadeia de LLMs, pode ser um desafio solucionar problemas e aumentar a eficiência.

O Agent Observability do Datadog oferece rastreamento completo de aplicações baseadas em LLMs, capturando entradas e saídas, métricas de latência, utilização de tokens e erros. Com o rastreamento de cada etapa da cadeia de LLMs, incluindo incorporação, recuperação e geração, as equipes podem identificar as causas raiz de resultados inesperados, latência e erros, o que ajuda a solucionar problemas de performance e controlar custos.

Neste workshop prático, você vai criar uma aplicação de chatbot com um workflow de Retrieval-Augmented Generation (RAG) usando a API da OpenAI. Você vai instrumentar a aplicação com o Agent Observability do Datadog, usando instrumentação automática e configuração manual no código para coletar traces. Você vai analisar esses traces para conectar o comportamento das aplicações com as etapas da cadeia de LLMs, identificar áreas de melhoria, aplicar alterações e observar os resultados.

Ao final do workshop, você terá uma experiência prática com o uso das ferramentas de observabilidade da Datadog para entender o comportamento de aplicações agênticas e melhorar a performance.