Sakana AI における長時間自律型エージェントのオブザーバビリティ

Sakana Marlin は、数時間にわたって調査を行う自律型エージェントであり、複数の LLM プロバイダーを用いて数百もの仮説を反復し、高度に詳細で包括的な戦略レポートを生成します。金融機関といった機密性の高い情報を扱う顧客も含まれるため、本番環境のプロンプトが我々のサービス外に出ることは許容できず、一般的なデバッグ手法は採用できません。本セッションでは、そうしたエージェントをいかにして観測可能にしたかを共有します。具体的には、数時間規模のジョブに対するフェーズレベルのシグナル、LLM のコストと信頼性のメタデータのみによる追跡、変動性の高いエージェントワークロードにおける誤検知を削減するためにモニターを再設計した方法、およびデザインパートナーとして Datadog AI Gateway を通じて複数モデルをルーティングした際の学びについてお話しします。