Agent Observability を活用した構築: セットアップからシグナルまで

大規模言語モデル (LLM) は今日の AI アプリケーションを支えていますが、挙動を予測しにくく、ワークフローも複雑なため、問題の診断やパフォーマンスの最適化、データ処理の仕組みの把握は容易ではありません。LLM チェーンの各ステップを可視化できなければ、トラブルシューティングや効率化は困難です。

Datadog の Agent Observability は運用パフォーマンスを可視化し、LLM アプリケーションの品質、安全性、セキュリティを確保できるよう支援します。エンドツーエンドのトレーシングにより、入力と出力、レイテンシーメトリクス、トークン使用量、エラーを取得できます。埋め込み、取得、生成を含む LLM チェーンの各ステップをトレースすることで、チームは想定外の出力、レイテンシー、エラーの根本原因を特定し、パフォーマンスの問題を解決してコストを管理できます。

この実践的なワークショップでは、OpenAI Python SDK からローカルモデルを呼び出す取得拡張生成 (RAG) ワークフローを使用して、チャットボットアプリケーションを構築します。次に、自動インスツルメンテーションとコード内での手動設定を使用して、Datadog の Agent Observability でアプリケーションを計測し、トレースを収集できるようにします。その後、これらのトレースを分析して、アプリケーションの挙動と LLM チェーンの各ステップを関連付け、改善点を特定して変更を適用し、その結果を確認します。

このワークショップに参加いただくことで、Datadog のオブザーバビリティツールで LLM アプリケーションの挙動を把握し、パフォーマンスを向上させる実践的なスキルを身につけられます。

対象者

LLM アプリケーションの構築やモニタリングに初めて取り組む方、LLM アプリケーションの仕組みに関心がある方。開発者、プロダクトマネージャー、エンジニアリングマネージャー、意思決定者など、LLM アプリケーションでオブザーバビリティがどのように機能するかを理解したい方。

スキルレベル 初級