MARL Simulatorは、効率的かつスケーラブルなマルチエージェント強化学習（MARL）アルゴリズムの開発を促進するために設計されています。PyTorchの分散バックエンドを利用して、複数のGPUまたはノード間で並列トレーニングを行うことができ、実験の実行時間を大幅に短縮します。シミュレーターは、協調ナビゲーション、プレイヤー対プレイヤー、グリッドワールドなどの標準ベンチマークシナリオと、ユーザー定義のカスタム環境をサポートするモジュール式の環境インターフェイスを提供します。エージェントは、アクションの調整、観測の共有、および報酬の同期にさまざまな通信プロトコルを利用できます。設定可能な報酬と観測空間により、トレーニング動態の詳細な制御が可能です。内蔵のログ記録と可視化ツールにより、パフォーマンス指標のリアルタイムの洞察を提供します。

このリポジトリは、PyTorchを使用したマルチエージェント強化学習における出現通信を実現します。ユーザーは送信者および受信者のニューラルネットワークを設定し、指示ゲームや協力ナビゲーションをプレイさせることで、離散または連続の通信チャネルを開発させます。訓練、評価、学習されたプロトコルの可視化のためのスクリプトや、環境作成、メッセージのエンコード・デコードのユーティリティも提供されています。研究者はカスタムタスクの追加やネットワークアーキテクチャの変更、プロトコルの効率性解析などを行い、エージェント通信の迅速な実験を促進します。

Vanilla Agentsは、モジュール化され拡張可能なコア強化学習エージェントの実装を提供する軽量なPyTorchベースのフレームワークです。DQN、ダブルDQN、PPO、A2Cなどのアルゴリズムをサポートし、OpenAI Gymと互換性のあるプラグイン可能な環境ラッパーを備えています。ユーザーはハイパーパラメータの設定、トレーニングメトリクスのログ記録、チェックポイントの保存、学習曲線の可視化を行えます。コードベースは明確に構成されており、研究のプロトタイピング、教育用途、新しいアイデアのベンチマークに最適です。