La Comunicación Emergente en Agentes es un marco de trabajo de código abierto en PyTorch diseñado para investigadores que exploran cómo los sistemas multiagente desarrollan sus propios protocolos de comunicación. La biblioteca ofrece implementaciones flexibles de tareas cooperativas de aprendizaje por refuerzo, incluyendo juegos referenciales, juegos combinatorios y desafíos de identificación de objetos. Los usuarios definen arquitecturas de agentes emisores y receptores, especifican propiedades de los canales de mensajes como tamaño de vocabulario y longitud de secuencia, y seleccionan estrategias de entrenamiento como gradientes de política o aprendizaje supervisado. El framework incluye scripts end-to-end para ejecutar experimentos, analizar la eficiencia de la comunicación y visualizar lenguas emergentes. Su diseño modular permite una extensión fácil con nuevos entornos de juego o funciones de pérdida personalizadas. Los investigadores pueden reproducir estudios publicados, evaluar nuevos algoritmos y analizar la composicionalidad y semántica de los lenguajes de los agentes emergentes.

El simulador MARL está diseñado para facilitar el desarrollo eficiente y escalable de algoritmos de aprendizaje por refuerzo multiagente (MARL). Aprovechando el backend distribuido de PyTorch, permite a los usuarios ejecutar entrenamiento paralelo en múltiples GPUs o nodos, reduciendo significativamente el tiempo de experimentos. El simulador ofrece una interfaz modular de entorno que soporta escenarios de referencia estándar — como navegación cooperativa, depredador-presa y mundo en cuadrícula — así como entornos personalizados definidos por el usuario. Los agentes pueden utilizar diversos protocolos de comunicación para coordinar acciones, compartir observaciones y sincronizar recompensas. Espacios de recompensa y observación configurables permiten un control preciso de la dinámica de entrenamiento, mientras que herramientas integradas de registro y visualización proporcionan información en tiempo real sobre métricas de rendimiento.

Este proyecto de código abierto brinda un marco completo de aprendizaje por refuerzo multi-agente construido sobre PyTorch y Unity ML-Agents. Incluye algoritmos DDPG descentralizados, envoltorios de entornos y scripts de entrenamiento. Los usuarios pueden configurar políticas de agentes, redes críticas, buffers de reproducción y trabajadores de entrenamiento en paralelo. Los hooks de registro permiten monitoreo con TensorBoard, mientras que una estructura modular soporta funciones de recompensa y parámetros de entorno personalizables. El repositorio incluye escenas de ejemplo en Unity demostrando tareas de navegación colaborativa, ideal para ampliar y evaluar escenarios multi-agente en simulaciones.

Mean-Field MARL proporciona un marco robusto en Python para implementar y evaluar algoritmos de aprendizaje por refuerzo multiagente de campo medio. Aproxima las interacciones en gran escala modelando el efecto medio de los vecinos mediante Q-learning de campo medio. La biblioteca incluye envoltorios de entornos, módulos de políticas de agentes, bucles de entrenamiento y métricas de evaluación, permitiendo entrenamiento escalable en cientos de agentes. Construido sobre PyTorch para aceleración GPU, soporta entornos personalizables como Particle World y Gridworld. Su diseño modular permite facilitar la extensión con nuevos algoritmos, mientras que las herramientas integradas de registro y visualización basadas en Matplotlib monitorean recompensas, curvas de pérdida y distribuciones de campo medio. Scripts de ejemplo y documentación guían a los usuarios en la configuración, experimentación y análisis de resultados, haciendo que sea ideal tanto para investigación como para prototipado de sistemas multiagente a gran escala.

RL-Agents es un framework de aprendizaje por refuerzo de nivel investigación construido sobre PyTorch que agrupa algoritmos RL populares en métodos basados en valor, política y actor-crítico. La biblioteca cuenta con una API modular de agentes, aceleración por GPU, integración fluida con OpenAI Gym y herramientas integradas de registro y visualización. Los usuarios pueden configurar hiperparámetros, personalizar bucles de entrenamiento y evaluar el rendimiento con pocas líneas de código, haciendo de RL-Agents una opción ideal para investigación académica, prototipado y experimentación industrial.