Gym-Recsys — это набор инструментов, который оборачивает задачи рекомендаций в окружения OpenAI Gym, позволяя алгоритмам обучения с подкреплением взаимодействовать с имитированными матрицами пользователь-объект шаг за шагом. Он обеспечивает синтетические генераторы поведения пользователя, поддерживает загрузку популярных наборов данных и поставляет стандартные метрики, такие как Precision@K и NDCG. Пользователи могут настраивать функции награды, модели пользователя и пул объектов для экспериментов с различными стратегиями рекомендаций на основе RL, с возможностью воспроизведения результатов.

VacuumWorld — платформа с открытым исходным кодом, предназначенная для разработки и оценки алгоритмов обучения с подкреплением для мультиагентов. Она предоставляет сеточные среды, в которых виртуальные роботы-пылесосы работают, чтобы обнаруживать и устранять грязь в настраиваемых макетах. Пользователи могут регулировать параметры, такие как размер сетки, распределение грязи, стохастический шум движений и структуры вознаграждения, моделируя разные сценарии. В рамках встроена поддержка протоколов коммуникации между агентами, информационных панелей в реальном времени и логирующих утилит для отслеживания эффективности. С помощью простых API на Python исследователи могут быстро интегрировать свои алгоритмы RL, сравнивать кооперативные и соревновательные стратегии и проводить воспроизводимые эксперименты, что делает VacuumWorld идеальным для академических исследований и обучения.