MAPF_G2RL ist ein Open-Source-Forschungsframework, das Graphentheorie und Deep Reinforcement Learning verbindet, um das Multi-Agenten-Pfadfindungsproblem (MAPF) zu lösen. Es kodiert Knoten und Kanten in Vektor-Repräsentationen, definiert räumliche und kollisionsbewusste Belohnungsfunktionen und unterstützt verschiedene RL-Algorithmen wie DQN, PPO und A2C. Das Framework automatisiert die Szenarien-Erstellung durch die Generierung zufälliger Graphen oder den Import realer Karten und steuert Trainingsschleifen, die Politiken für mehrere Agenten gleichzeitig optimieren. Nach dem Lernen werden die Agenten in simulierten Umgebungen bewertet, um Pfadeffizienz, Make-span und Erfolgsraten zu messen. Das modulare Design ermöglicht es Forschern, Kernkomponenten zu erweitern, neue MARL-Techniken zu integrieren und mit klassischen Lösungsansätzen zu benchmarken.

Mava ist eine JAX-basierte Open-Source-Bibliothek zur Entwicklung, Schulung und Bewertung von Multi-Agenten-Rückmeldungslernen-Systemen. Es bietet vorgefertigte Implementierungen kooperativer und kompetitiver Algorithmen wie MAPPO und MADDPG sowie konfigurierbare Trainingsschleifen, die Einzelknoten- und verteilte Arbeitsabläufe unterstützen. Forscher können Umgebungen aus PettingZoo importieren oder eigene Umgebungen definieren und dann die modularen Komponenten von Mava für Politikoptimierung, Replay-Puffer-Management und Metrikprotokollierung verwenden. Die flexible Architektur des Frameworks ermöglicht die nahtlose Integration neuer Algorithmen, benutzerdefinierter Beobachtungsräume und Belohnungsstrukturen. Durch die Nutzung der Auto-Vektorisierungs- und Hardware-Beschleunigungsfähigkeiten von JAX stellt Mava effiziente groß angelegte Experimente und reproduzierbare Benchmarking in verschiedenen Multi-Agenten-Szenarien sicher.

MAGAIL implementiert eine Multi-Agenten-Erweiterung des Generativen Adversarial Imitation Learning, die Gruppen von Agenten befähigt, koordinierte Verhaltensweisen aus Experten-Demonstrationen zu erlernen. In Python gebaut mit Unterstützung für PyTorch (oder TensorFlow-Varianten), besteht MAGAIL aus Policy (Generator) und Diskriminator-Modulen, die in einer adversarialen Schleife trainiert werden. Agenten erzeugen Trajektorien in Umgebungen wie OpenAI Multi-Agent Particle Environment oder PettingZoo, die vom Diskriminator zur Bewertung der Authentizität mit den Experten-Daten verwendet werden. Durch iterative Aktualisierungen konvergieren Policy-Netzwerke zu strategieähnlichen Verhaltensweisen, ohne explizite Belohnungsfunktionen. Das modulare Design von MAGAIL erlaubt die Anpassung von Netzwerkarchitekturen, die Ingestion von Experten-Daten, die Environment-Integration und Hyperparameter-Optimierung. Zudem erleichtern integriertes Logging und TensorBoard-Visualisierung die Überwachung und Analyse des Lernfortschritts sowie Leistungsbenchmarks.

Jason-RL fügt dem Jason Multi-Agenten-Framework eine Verstärkendes Lernen-Schicht hinzu, die es AgentSpeak-BDI-Agenten ermöglicht, Aktions-Auswahl-Politiken durch Belohnungsfeedback zu erlernen. Es implementiert Q-Learning und SARSA, unterstützt die Konfiguration von Lernparametern (Lernrate, Diskontfaktor, Explorationsstrategie) und protokolliert Trainingsmetriken. Durch die Definition von Belohnungsfunktionen in Agentenplänen und das Ausführen von Simulationen können Entwickler beobachten, wie Agenten im Laufe der Zeit Entscheidungsfindung verbessern und sich an sich ändernde Umgebungen anpassen, ohne manuell Politiken zu codieren.