CityLearn 提供一個模組化的模擬平台，用於使用強化學習進行能源管理研究。用戶可以定義多區域的建築群、配置 HVAC 系統、儲能單元和可再生能源，然後對 RL 代理進行訓練，應對需求響應事件。這個環境會顯示狀態觀測，例如溫度、負載輪廓和能源價格，而操作則控制設定點和儲存調度。一個彈性的獎勵 API 支援自訂指標，例如節省成本或減少排放，且日誌工具支援性能分析。CityLearn 非常適合用於基準測試、課程學習以及在可重現的研究框架內開發新型控制策略。

OpenSpiel 是一個研究框架，提供從簡單矩陣遊戲到複雜棋類遊戲（如國際象棋、圍棋和撲克）的廣泛環境，並實現各種強化學習和搜索算法（如值迭代、策略梯度方法、MCTS）。其模組化的 C++ 核心和 Python 綁定允許用戶插入自定義算法、定義新遊戲，並在標準基準上比較性能。設計具有擴展性，支持單一和多智能體設置，研究合作和競爭場景。研究人員利用 OpenSpiel 快速原型設計算法、大規模實驗和分享可重複的代碼。