Pits and OrbsはPythonで実装されたオープンソースの強化学習環境で、ターン制のマルチエージェントグリッドワールドを提供します。エージェントは目標を追求し、危険な環境要素に直面します。各エージェントは設定可能なグリッド上をナビゲートし、ランダムに配置された落とし穴を避けてエピソードをペナルティ化または終了させ、ポジティブな報酬のためにオーブを収集します。この環境は競争モードと協力モードの両方をサポートし、研究者はさまざまな学習シナリオを探索できます。簡単なAPIはStable BaselinesやRLlibなどの人気RLライブラリにシームレスに統合可能です。主な特徴は、調整可能なグリッド寸法、ダイナミックな落とし穴とオーブの分布、設定可能な報酬構造、および訓練分析用のオプションログ記録です。

ビアゲーム環境は、4段階（小売業者、卸売業者、ディストリビューター、メーカー）のビールサプライチェーンを離散時間でシミュレートし、OpenAI Gymインターフェースを公開しています。エージェントは在庫、パイプライン在庫、着荷予定の注文を観測し、その後、注文量を出力します。環境は、在庫保持とバックオーダーにかかるコストを1ステップごとに計算し、Demand分布やリードタイムのカスタマイズをサポートします。Stable Baselines3などの人気RLライブラリとシームレスに連携し、研究者や教育者がサプライチェーンの最適化タスクでアルゴリズムをベンチマーク・訓練できるようにします。