LlamaIndex Supervisorは、LlamaIndex上に構築されたAIエージェントを作成・実行・監視するためのPythonフレームワークです。検索、要約、カスタム処理などのワークフローノードを定義し、それらをグラフ状に繋ぐツールを提供します。Supervisorは各ステップを監視し、スキーマに沿った出力の検証やエラー時のリトライ、メトリクスの記録を行います。これにより、堅牢で再現性のあるパイプラインを実現し、検索付加生成、ドキュメントQA、データ抽出など多様なタスクに対応します。

Agent Loggingは、AIエージェントフレームワークやカスタムワークフローのための統一されたログフレームワークを提供します。エージェントの実行の各ステージ（プロンプト生成、ツールの呼び出し、LLMの応答、最終出力）をインターセプトし、タイムスタンプやメタデータとともに記録します。ログはJSON、CSVにエクスポートしたり、モニタリングサービスに送信したりできます。カスタマイズ可能なログレベルや観測性プラットフォームとのフック、決定経路を追跡するためのビジュアライゼーションツールもサポートします。Agent Loggingを使用することで、チームはエージェントの挙動を洞察し、パフォーマンスのボトルネックを特定し、監査のための透明な記録を維持できます。