CommNetは、複数のエージェントが各タイムステップで隠れ状態を共有し、協力環境でアクションを調整することを可能にする研究志向のライブラリです。PyTorchによるモデル定義、学習および評価スクリプト、OpenAI Gym用環境ラッパー、通信チャネル、エージェント数、ネットワーク深度のカスタマイズに役立つユーティリティを含みます。研究者や開発者は、ナビゲーション、追跡・回避、リソース収集タスクにおいて、エージェント間の通信戦略のプロトタイピングとベンチマークにCommNetを活用できます。

Selective Reincarnationは、マルチエージェント強化学習に特化したダイナミックな集団ベースのトレーニングメカニズムを導入します。各エージェントのパフォーマンスは、事前に定められた閾値と定期的に評価されます。エージェントのパフォーマンスが閾値を下回る場合、その重みは現在の最高パフォーマーの重みにリセットされ、実績のある行動を再現します。この方法は、パフォーマンスが低いエージェントのみをリセットすることで多様性を維持し、破壊的なリセットを最小限に抑えつつ、高報酬ポリシーへの探索を導きます。ニューラルネットワークパラメータのターゲットヘリテージ（選択的継承）を可能にすることで、バリアンスを低減し、協力型や競争型の環境での収束を促進します。PyTorchベースのアルゴリズムとシームレスに連携し、評価頻度、選択基準、リセット戦略の調整可能なハイパーパラメータを含みます。