MAPF_G2RLは、グラフ理論と深層強化学習を橋渡しし、マルチエージェント経路探索（MAPF）問題に取り組むオープンソースの研究フレームワークです。ノードとエッジをベクトル表現にエンコードし、空間的かつ衝突認識型の報酬関数を定義し、DQN、PPO、A2CなどのさまざまなRLアルゴリズムをサポートします。このフレームワークは、ランダムなグラフを生成したり、実世界の地図をインポートしてシナリオを自動作成し、複数のエージェントのポリシーを最適化する訓練ループを調整します。学習後、エージェントはシミュレーション環境で評価され、経路の最適性、所要時間、成功率を測定します。そのモジュール化設計により、研究者はコアコンポーネントを拡張し、新しいMARL手法を統合し、従来のソルバーと比較評価することができます。

Mavaは、マルチエージェント強化学習システムの開発、訓練、評価のためのJAXベースのオープンソースライブラリです。 MAPPOやMADDPGなどの協調・競合アルゴリズムをあらかじめ実装し、単一ノードや分散ワークフローをサポートする設定可能なトレーニングループを備えています。研究者はPettingZooから環境をインポートしたり、カスタム環境を定義したりして、政策最適化、リプレイバッファ管理、指標ロギングのためのモジュールを利用できます。フレームワークの柔軟な設計により、新しいアルゴリズムやカスタム観測空間、報酬構造のシームレスな統合が可能です。JAXの自動ベクトル化とハードウェア加速機能を活用し、効率的な大規模実験と、多様なマルチエージェントシナリオでの再現性のあるベンチマークを保証します。

MAGAILは、生成的敵対的模倣学習のマルチエージェント拡張を実装し、エージェントのグループが専門家のデモから協調動作を学習できるようにします。Pythonで構築されており、PyTorch（またはTensorFlowのバリアント）をサポートし、政策（ジェネレーター）とディスクリミネーターのモジュールから構成され、敵対的ループで訓練されます。エージェントは、OpenAIマルチエージェントパーティクル環境やPettingZooのような環境で軌跡を生成し、ディスクリミネーターがそれらを専門家のデータに照らして真偽を評価します。反復的な更新により、政策ネットワークは明示的な報酬関数なしで専門家に似た戦略に収束します。MAGAILのモジュラー設計は、ネットワークアーキテクチャ、専門家データの入力、環境統合、訓練ハイパーパラメータのカスタマイズを可能にします。さらに、標準搭載のログ記録とTensorBoardの可視化により、マルチエージェント学習の進捗とパフォーマンスの監視と分析を促進します。

jason-RLは、Jasonのマルチエージェントフレームワークに強化学習層を追加し、AgentSpeak BDIエージェントが報酬フィードバックを通じて行動選択ポリシーを学習できるようにします。Q学習とSARSAのアルゴリズムを実装し、学習パラメータ（学習率、割引ファクター、探索戦略）の設定をサポートし、トレーニングの指標をログに記録します。エージェントの計画で報酬関数を定義し、シミュレーションを実行することで、開発者はエージェントが時間とともに意思決定を改善し、環境の変化に適応する様子を観察できます。