GYM_XPLANE_ML將X-Plane飛行模擬器封裝為一個OpenAI Gym環境，將油門、升降舵、副翼舵和方向舵作為行動空間，將高度、速度和姿態等飛行參數作為觀察信息。用戶可以在Python中編寫訓練流程，選擇預設場景或自訂航點、天氣條件及飛機模型。此庫能處理與X-Plane的低延遲通信，以同步模式運行訓練、記錄性能指標，並支援即時渲染以便除錯。它支持基於ML的自主飛控系統的反覆開發，以及在高保真模擬環境中測試RL算法。

MAPF_G2RL 是一個開源研究框架，將圖論與深度強化學習結合起來，以解決多智能體路徑搜尋問題（MAPF）。它將節點和邊編碼為向量表示，定義空間和碰撞感知的獎勵函數，支援 DQN、PPO、A2C 等多種 RL 算法。框架通過生成隨機圖或導入現實世界地圖來自動創建場景，並管理訓練循環以同時優化多個代理的策略。訓練後，代理在模擬環境中進行評估，以測量路徑最優化、完成時間和成功率。其模組化設計使研究人員能擴展核心元件、整合新技術，並與傳統解算器做基準測試。