MAGAIL реализует расширение генеративного противоборствующего имитационного обучения для мультиагентов, позволяя группам агентов обучаться скоординированному поведению, основываясь на демонстрациях экспертов. Построенный на Python с поддержкой PyTorch (или вариантов TensorFlow), MAGAIL состоит из модулей политики (генератора) и дискриминатора, обучающихся в противоборственном цикле. Агенты генерируют траектории в средах, таких как OpenAI Multi-Agent Particle Environment или PettingZoo, которые дискриминатор использует для оценки подлинности по сравнению с данными экспертов. Через итеративные обновления сети политики сходятся к стратегиям, похожим на стратегии экспертов, без явных функций награды. Модульная архитектура MAGAIL позволяет настраивать архитектуры сетей, загрузку данных экспертов, интеграцию среды и гиперпараметры обучения. Кроме того, встроенное логирование и визуализация с помощью TensorBoard облегчают мониторинг и анализ прогресса обучения и показателей эффективности мультиагентов.

HMAS — это open-source фреймворк на Python, позволяющий разрабатывать иерархические многоагентные системы. Он предлагает абстракции для определения иерархий агентов, протоколов межагентной связи, интеграции среды и встроенных циклов обучения. Исследователи и разработчики могут использовать HMAS для прототипирования сложных взаимодействий агентов, обучения скоординированных политик и оценки производительности в моделируемых средах. Его модульная архитектура облегчает расширение и настройку агентов, сред и стратегий обучения.