Open Agent Leaderboardは、オープンソースのAIエージェントの評価パイプラインを提供します。推論、計画、質問応答、ツール使用をカバーする厳選されたタスク群、自動実行可能なハーネス、成功率、実行時間、リソース消費などのパフォーマンス指標を収集するスクリプトを備えています。結果は集約され、フィルターやチャート、履歴比較が可能なウェブベースのリーダーボードに表示されます。Dockerによる再現性のある設定、人気のエージェントアーキテクチャ向けの統合テンプレート、拡張可能な構成により、新しいタスクや指標を容易に追加できます。

Simple Playgroundsは、エージェントが迷路を探索し、オブジェクトと相互作用し、タスクを完了できるインタラクティブな2Dグリッド環境の構築に役立つモジュール式プラットフォームです。ユーザーは、YAMLまたはPythonスクリプトを使って環境レイアウト、オブジェクトの挙動、報酬関数を定義します。組み込みのPygameレンダラーにより、リアルタイムの視覚化が可能になり、ステップベースのAPIにより、Stable Baselines3などのRLライブラリとシームレスに統合できます。マルチエージェントの設定、衝突検出、カスタマイズ可能な物理パラメータをサポートし、プロトタイピング、ベンチマーキング、AIアルゴリズムの教育的デモンストレーションを効率化します。

gym-multigridは、複数部屋のナビゲーションと探索タスクのために設計されたカスタマイズ可能なグリッドワールド環境のセットを提供します。各環境は、オブジェクト、鍵、ドア、障害物で構成された連結された部屋で構成されます。ユーザーはプログラムでグリッドサイズ、部屋の構成、オブジェクトの配置を調整できます。ライブラリは完全および部分観測モードをサポートし、RGBまたはマトリクスの状態表現を提供します。アクションには移動、オブジェクトとのインタラクション、ドア操作が含まれます。Gym環境として統合することで、研究者は任意のGym互換エージェントを活用して、キーとドアのパズル、オブジェクトの取得、階層的計画といったタスクのトレーニングと評価をシームレスに行うことができます。gym-multigridはモジュラー設計と最小限の依存関係により、新しいAI戦略のベンチマークに最適です。

LifelongAgentBenchは、実世界の継続的学習環境をシミュレートするよう設計されており、開発者は進化するタスクのシーケンスにわたってAIエージェントをテストできます。フレームワークは、新しいシナリオを定義し、データセットを読み込み、メモリ管理ポリシーを設定するためのプラグアンドプレイAPIを提供します。内蔵の評価モジュールは、フォワードトランスファー、バックワードトランスファー、忘却率、累積パフォーマンスなどの指標を計算します。ユーザはベースライン実装を展開したり、独自のエージェントを統合したりして、同一の設定下で直接比較できます。結果は標準化されたレポートとしてエクスポートされ、インタラクティブなグラフや表を備えています。モジュール式アーキテクチャは、カスタムデータローダーや指標、可視化プラグインの拡張をサポートし、多様な応用分野に適応可能です。

mario-aiプロジェクトは、神経進化を用いたSuper Mario Bros.の習得を目指すAIエージェント開発のための包括的なパイプラインを提供します。PythonベースのNEAT実装とOpenAI GymのSuperMario環境を統合し、ユーザーはカスタム適性基準、突然変異率、ネットワークトポロジーを定義できます。訓練中、フレームワークはニューラルネットワークの世代を評価し、高性能のゲノムを選択し、ゲームプレイとネットワーク進化のリアルタイム可視化を行います。また、訓練済みモデルの保存や読み込み、最優秀ゲノムのエクスポート、詳細なパフォーマンスログの生成もサポートします。研究者、教育者、趣味者はコードベースを他のゲーム環境に拡張し、進化戦略を実験し、異なるレベルでのAI学習進捗をベンチマークできます。

このオープンソースプロジェクトは、PyTorchとUnity ML-Agentsを基盤とした完全な多エージェント強化学習フレームワークを提供します。分散型DDPGアルゴリズム、環境ラッパー、訓練スクリプトを含みます。ユーザーはエージェントのポリシー、批評ネットワーク、リプレイバッファー、並列訓練ワーカーを設定できます。ロギングフックによりTensorBoardでの監視が可能で、モジュラーコードはカスタム報酬関数や環境パラメータをサポートします。リポジトリには協力ナビゲーションタスクを示すサンプルUnityシーンが含まれ、シミュレーション内での多エージェントシナリオの拡張やベンチマークに最適です。