CityLearnは、強化学習を用いたエネルギー管理研究のためのモジュール式シミュレーションプラットフォームです。ユーザーは、多ゾーン建物クラスター、HVACシステム、貯蔵ユニット、再生可能エネルギー源を定義し、需要応答イベントに対してRLエージェントを訓練できます。環境は温度、負荷プロファイル、エネルギー価格などの状態観測を提供し、アクションは設定点や貯蔵運用を制御します。柔軟な報酬APIは、コスト削減や排出削減などのカスタムメトリクスを可能にし、ロギングユーティリティは性能分析をサポートします。CityLearnは、ベンチマーク、カリキュラム学習、新しい制御戦略の開発に理想的な再現性のある研究フレームワークです。

OpenSpielは、シンプルな行列ゲームからチェス、囲碁、ポーカーなどの複雑なボードゲームまでの幅広い環境を提供し、価値反復法、方針勾配法、MCTSなどのさまざまな強化学習と探索アルゴリズムを実装しています。そのモジュール式のC++コアとPythonバインディングにより、ユーザーはカスタムアルゴリズムの導入や新しいゲームの定義、標準ベンチマーク間での性能比較が可能です。拡張性を念頭に設計されており、単一エージェントおよび多エージェントの設定をサポートし、協調と競争のシナリオの研究を可能にします。研究者はOpenSpielを活用してアルゴリズムを迅速に試作し、大規模な実験を行い、再現可能なコードを共有しています。