Shepherding es un marco de simulación de código abierto diseñado para investigadores y desarrolladores de aprendizaje por refuerzo para estudiar e implementar tareas de pastoreo con múltiples agentes. Proporciona un entorno compatible con Gym donde los agentes pueden aprender a realizar comportamientos como rodear, recopilar y dispersar grupos objetivo en espacios continuos o discretos. El marco incluye funciones modulares de configuración de recompensas, parametrización del entorno y utilidades de registro para monitorear el rendimiento del entrenamiento. Los usuarios pueden definir obstáculos, poblaciones dinámicas de agentes y políticas personalizadas usando TensorFlow o PyTorch. Los scripts de visualización generan gráficos de trayectorias y grabaciones de videos de interacciones de agentes. La arquitectura modular de Shepherding permite una integración sin problemas con bibliotecas RL existentes, permitiendo experimentos reproducibles, benchmarking de estrategias de coordinación novedosas y desarrollo rápido de soluciones de pastoreo basadas en IA.

NeuralABM es una biblioteca de código abierto en Python que aprovecha PyTorch para integrar redes neuronales en el modelado basado en agentes. Los usuarios pueden especificar arquitecturas de agentes como módulos neuronales, definir dinámicas del entorno y entrenar comportamientos de agentes mediante retropropagación en pasos de simulación. El framework soporta señales de recompensa personalizadas, aprendizaje por currículo y actualizaciones síncronas o asíncronas, permitiendo estudiar fenómenos emergentes. Con utilidades para registro, visualización y exportación de conjuntos de datos, investigadores y desarrolladores pueden analizar el rendimiento de los agentes, depurar modelos y iterar en el diseño de simulaciones. NeuralABM simplifica la combinación de aprendizaje por refuerzo con ABM para aplicaciones en ciencias sociales, economía, robótica y comportamientos de NPC en juegos impulsados por IA. Ofrece componentes modulares para personalizar entornos, soporta interacciones multi-agente y proporciona hooks para integrar conjuntos de datos externos o API en simulaciones del mundo real. El diseño abierto fomenta la reproducibilidad y colaboración mediante una configuración clara de experimentos y la integración con control de versiones.

Acme es un marco basado en Python que simplifica el desarrollo y la evaluación de agentes de aprendizaje por refuerzo. Ofrece una colección de implementaciones predefinidas de agentes (por ejemplo, DQN, PPO, SAC), envoltorios de entornos, buffers de repetición y motores de ejecución distribuidos. Los investigadores pueden combinar componentes para prototipar nuevos algoritmos, monitorear métricas de entrenamiento con registro incorporado y aprovechar pipelines distribuidos escalables para experimentos a gran escala. Acme se integra con TensorFlow y JAX, soporta entornos personalizados mediante interfaces OpenAI Gym, y incluye utilidades para guardar, evaluar y configurar hiperparámetros.

Agent-Squad es un marco modular en Python que permite a los equipos diseñar, desplegar y ejecutar sistemas multiagente para tareas complejas. En su núcleo, Agent-Squad permite configurar perfiles de agentes diversos, como recuperadores de datos, resúmenes, codificadores y validadores, que comunican a través de canales definidos y comparten contextos de memoria. Al descomponer objetivos de alto nivel en subtareas, el marco orquesta procesamiento paralelo y aprovecha LLMs junto con APIs externas, bases de datos o herramientas personalizadas. Los desarrolladores pueden definir flujos de trabajo en JSON o código, monitorear interacciones de agentes y adaptar estrategias dinámicamente usando utilidades integradas de registro y evaluación.