Gym-Recsys 是一個工具箱，將推薦任務封裝成 OpenAI Gym 環境，使強化學習演算法能逐步與模擬的用戶-項目矩陣互動。它提供合成用戶行為產生器、支援載入流行資料集，並提供如 Precision@K 和 NDCG 等標準推薦評測指標。用戶可以自訂獎勵函數、用戶模型和項目池，用以實驗不同的 RL 基礎推薦策略，並具有可重現性。

VacuumWorld是一個開源模擬平台，旨在促進多智能體強化學習算法的開發與評估。它提供基於格子的環境，虛擬吸塵機器人可在可自定義的布局中運行，檢測並清除塵埃。用戶可以調整網格大小、塵埃分佈、隨機移動噪聲與獎勵結構，以模擬多種場景。框架內建支持智能體之間的通訊協議、即時視覺化儀表板及性能追蹤的紀錄工具。透過簡單的Python API，研究人員可以快速整合其強化學習算法，比較合作或競爭策略並進行可重現的實驗，讓VacuumWorld成為學術研究與教學的理想工具。