mini-AlphaStarは、StarCraft IIのAI開発のためのアクセスしやすくオープンソースのPyTorchフレームワークを提供し、複雑なAlphaStarアーキテクチャを解明します。画面とミニマップ入力用の空間特徴エンコーダ、非空間特徴処理、LSTMメモリモジュール、行動選択と状態評価のための別々の方針と価値ネットワークを備えています。模倣学習でブートストラッピングし、自己対戦による強化学習で微調整を行います。StarCraft IIと互換性のある環境ラッパー、TensorBoardによるロギング、設定可能なハイパーパラメータをサポート。研究者や学生は人間のプレイからデータセットを生成し、カスタムシナリオでモデルを訓練し、エージェントのパフォーマンスを評価し、学習曲線を可視化できます。モジュール式のコードベースにより、ネットワークのバリアント、訓練スケジュール、多エージェント設定を容易に実験できます。教育や試作を目的としており、本番運用には適していません。

このオープンソースプロジェクトは、PyTorchとUnity ML-Agentsを基盤とした完全な多エージェント強化学習フレームワークを提供します。分散型DDPGアルゴリズム、環境ラッパー、訓練スクリプトを含みます。ユーザーはエージェントのポリシー、批評ネットワーク、リプレイバッファー、並列訓練ワーカーを設定できます。ロギングフックによりTensorBoardでの監視が可能で、モジュラーコードはカスタム報酬関数や環境パラメータをサポートします。リポジトリには協力ナビゲーションタスクを示すサンプルUnityシーンが含まれ、シミュレーション内での多エージェントシナリオの拡張やベンチマークに最適です。

Vanilla Agentsは、モジュール化され拡張可能なコア強化学習エージェントの実装を提供する軽量なPyTorchベースのフレームワークです。DQN、ダブルDQN、PPO、A2Cなどのアルゴリズムをサポートし、OpenAI Gymと互換性のあるプラグイン可能な環境ラッパーを備えています。ユーザーはハイパーパラメータの設定、トレーニングメトリクスのログ記録、チェックポイントの保存、学習曲線の可視化を行えます。コードベースは明確に構成されており、研究のプロトタイピング、教育用途、新しいアイデアのベンチマークに最適です。