小さな LLM アプリの構築と動作の可視化

大規模言語モデル (LLM) は現在の AI アプリケーションの中核を担っています。しかし、その挙動は予測しにくくワークフローも複雑なため、問題の特定、パフォーマンスの最適化、データ処理の仕組みを理解するのは困難です。LLM チェーンの各ステップが把握できなければ、トラブルシューティングもパフォーマンスの最適化も難しくなります。 Datadog LLM Observability は、LLM を活用したアプリケーションをエンド ツー エンドでトレースし、入出力テキスト、レイテンシー指標、トークン数、エラー情報を記録・可視化します。Embedding、Retrieval、Generationといったチェーンの各ステップを追跡することで、予期しない出力や遅延、エラーの根本原因を特定し、パフォーマンスの問題を効率的に解決しつつ、コストの管理にも役立てることができます。 このワークショップでは、Retrieval-Augmented Generation (RAG) ワークフローを備えたチャットボットアプリケーションを構築します (OpenAI Python SDK を使ってローカル モデルを呼び出します)。次に、Datadog LLM Observability をアプリケーションに組み込み、オートインストゥルメンテーションとコード内設定を通じてトレースデータを収集します。最後に、それらのトレースを分析してアプリケーションの挙動とLLMチェーンの各段階を関連付け改善点を特定。修正を加えた上でその効果を観測し、改善と検証のサイクルを繰り返しながらパフォーマンスを最適化していきます。 本ワークショップを通じて、Datadog のオブザーバビリティツールを活用してLLM アプリケーションの挙動を理解し、性能を最適化するための実践的なスキルを身につけることができます。