Open Agent Leaderboardは、オープンソースのAIエージェントの評価パイプラインを提供します。推論、計画、質問応答、ツール使用をカバーする厳選されたタスク群、自動実行可能なハーネス、成功率、実行時間、リソース消費などのパフォーマンス指標を収集するスクリプトを備えています。結果は集約され、フィルターやチャート、履歴比較が可能なウェブベースのリーダーボードに表示されます。Dockerによる再現性のある設定、人気のエージェントアーキテクチャ向けの統合テンプレート、拡張可能な構成により、新しいタスクや指標を容易に追加できます。