このリポジトリは、StarCraft IIのゲームプレイ研究のためのエンドツーエンドの強化学習フレームワークを提供します。メインエージェントはProximal Policy Optimization（PPO）を使用し、PySC2環境からの観察データを解釈して、正確なゲーム内アクションを出力します。開発者はニューラルネットワークの層、報酬の調整、訓練スケジュールをカスタマイズして性能向上を図れます。システムは、サンプル収集の効率化のためのマルチプロセッシング、訓練曲線の監視用ロギングユーティリティ、スクリプト化やビルトインAI対戦用の評価スクリプトをサポートします。コードはPythonで書かれ、TensorFlowを用いてモデルの定義と最適化を行います。ユーザーは、カスタム報酬関数、状態前処理、ネットワークアーキテクチャなどのコンポーネントを拡張可能です。

MADDPG-Kerasは、Kerasに実装されたMADDPGアルゴリズムを用いて、マルチエージェント強化学習の研究のための包括的なフレームワークを提供します。連続アクション空間、複数のエージェント、OpenAI Gymの標準環境をサポートします。研究者と開発者は、ニューラルネットワークのアーキテクチャ、トレーニングのハイパーパラメータ、報酬関数を設定し、組み込みのロギングとモデルのチェックポイント保存機能を使って実験を実行し、マルチエージェントのポリシー学習と比較を高速化できます。

MAGAILは、生成的敵対的模倣学習のマルチエージェント拡張を実装し、エージェントのグループが専門家のデモから協調動作を学習できるようにします。Pythonで構築されており、PyTorch（またはTensorFlowのバリアント）をサポートし、政策（ジェネレーター）とディスクリミネーターのモジュールから構成され、敵対的ループで訓練されます。エージェントは、OpenAIマルチエージェントパーティクル環境やPettingZooのような環境で軌跡を生成し、ディスクリミネーターがそれらを専門家のデータに照らして真偽を評価します。反復的な更新により、政策ネットワークは明示的な報酬関数なしで専門家に似た戦略に収束します。MAGAILのモジュラー設計は、ネットワークアーキテクチャ、専門家データの入力、環境統合、訓練ハイパーパラメータのカスタマイズを可能にします。さらに、標準搭載のログ記録とTensorBoardの可視化により、マルチエージェント学習の進捗とパフォーマンスの監視と分析を促進します。