CityLearn fornece uma plataforma modular de simulação para pesquisa em gestão de energia usando aprendizado por reforço. Os usuários podem definir clusters de edifícios com múltiplas zonas, configurar sistemas HVAC, unidades de armazenamento e fontes renováveis, e treinar agentes de RL contra eventos de resposta à demanda. O ambiente expõe observações de estado como temperaturas, perfis de carga e preços de energia, enquanto ações controlam pontos de ajuste e despacho de armazenamento. Uma API de recompensa flexível permite métricas personalizadas — como economia de custos ou redução de emissões — e utilitários de registro suportam análise de desempenho. CityLearn é ideal para benchmarking, aprendizado em currículo e desenvolvimento de novas estratégias de controle em um ambiente de pesquisa reprodutível.

OpenSpiel oferece uma ampla gama de ambientes, desde jogos de matriz simples até jogos de tabuleiro complexos como Xadrez, Go e Poker, e implementa vários algoritmos de aprendizado por reforço e busca (por exemplo, iteração de valor, gradiente de política, MCTS). Seu núcleo modular em C++ e ligações Python permitem que usuários integrem algoritmos personalizados, definam novos jogos e comparem desempenho em benchmarks padrão. Projetado para extensibilidade, suporta configurações de agente único e múltiplo, permitindo o estudo de cenários cooperativos e competitivos. Pesquisadores utilizam OpenSpiel para prototipar algoritmos rapidamente, realizar experimentos em grande escala e compartilhar código reprodutível.