mini-AlphaStar демистифицирует сложную архитектуру AlphaStar, предлагая доступную и с открытым исходным кодом платформу на PyTorch для разработки ИИ для StarCraft II. Включает пространственные кодеры признаков для входных данных экрана и миникарты, обработку не пространственных признаков, модули памяти LSTM, отдельные сети политики и оценки стоимости для выбора действий и оценки состояния. Используя обучение имитацией для начальной настройки и обучение с усилением с помощью самоигры для донастройки, он поддерживает совместимые с pysc2 обертки окружения, логирование через TensorBoard и настраиваемые гиперпараметры. Исследователи и студенты могут создавать наборы данных из игровых состояний человека, обучать модели на пользовательских сценариях, оценивать эффективность агента и визуализировать кривые обучения. Модульный код облегчает эксперименты с вариациями сети, графиками обучения и многопро Agent-и. Предназначен для образовательных целей и прототипирования, а не для промышленного использования.

Этот проект с открытым исходным кодом представляет собой полный фреймворк обучения с подкреплением для нескольких агентов на базе PyTorch и Unity ML-Agents. Включает децентрализованные алгоритмы DDPG, обертки окружения и тренировочные скрипты. Пользователи могут настраивать политики агентов, критические сети, буферы повторных данных и параллельных рабочих. Встроены хуки для логирования и мониторинга с помощью TensorBoard, а модульная структура позволяет легко внедрять пользовательские функции награды и параметры окружения. В репозитории есть примерные сцены Unity с демонстрациями задач совместной навигации, что делает его идеально подходящим для расширения и бенчмаркинга сценариев с множеством агентов в симуляциях.

Vanilla Agents — это лёгкий фреймворк на базе PyTorch, предоставляющий модульные и расширяемые реализации основных агентов обучения с подкреплением. Он поддерживает алгоритмы DQN, Double DQN, PPO и A2C, с подключаемыми обёртками окружений, совместимыми с OpenAI Gym. Пользователи могут настраивать гиперпараметры, регистрировать метрики обучения, сохранять контрольные точки и визуализировать кривые обучения. Код организован ясно, что делает его идеальным для прототипирования, образовательных целей и бенчмаркинга новых идей в RL.