MAPF_G2RLは、グラフ理論と深層強化学習を橋渡しし、マルチエージェント経路探索（MAPF）問題に取り組むオープンソースの研究フレームワークです。ノードとエッジをベクトル表現にエンコードし、空間的かつ衝突認識型の報酬関数を定義し、DQN、PPO、A2CなどのさまざまなRLアルゴリズムをサポートします。このフレームワークは、ランダムなグラフを生成したり、実世界の地図をインポートしてシナリオを自動作成し、複数のエージェントのポリシーを最適化する訓練ループを調整します。学習後、エージェントはシミュレーション環境で評価され、経路の最適性、所要時間、成功率を測定します。そのモジュール化設計により、研究者はコアコンポーネントを拡張し、新しいMARL手法を統合し、従来のソルバーと比較評価することができます。

RL-AgentsはPyTorch上に構築された研究用の強化学習フレームワークであり、値関数ベース、方策ベース、アクター-クリティック手法の人気アルゴリズムをまとめて搭載しています。本ライブラリは、モジュール化されたエージェントAPI、GPUアクセラレーション、OpenAI Gymとのシームレスな連携、ビルドインのロギング・可視化ツールを備えています。ハイパーパラメータの設定やトレーニングループのカスタマイズ、パフォーマンスのベンチマークも数行のコードで実行可能で、学術研究、プロトタイピング、産業界の実験に最適です。

Text-to-Rewardは、テキストベースのタスク記述やフィードバックをRLエージェント用のスカラー報酬値にマッピングするモデルを訓練するパイプラインを提供します。トランスフォーマーベースのアーキテクチャと収集された人間の優先データによる微調整を利用し、自然言語命令を報酬信号として解釈することを自動的に学習します。ユーザーはテキストプロンプトを使って任意のタスクを定義し、モデルを訓練し、学習した報酬関数を任意のRLアルゴリズムに取り入れることが可能です。このアプローチは手動の報酬調整をなくし、サンプル効率を向上させ、エージェントが複雑なマルチステップ指示を模擬または実環境で実行できるようにします。