WorFBench est un cadre complet open-source conçu pour évaluer les capacités des agents IA construits sur de grands modèles linguistiques. Il offre une large gamme de tâches — de la planification d’itinéraire à la génération de code — chacune avec des objectifs et des métriques d’évaluation clairement définis. Les utilisateurs peuvent configurer des stratégies d’agents personnalisées, intégrer des outils externes via des APIs standardisées et exécuter des évaluations automatisées enregistrant la performance en décomposition, profondeur de planification, précision de l’appel aux outils, et qualité du résultat final. Les tableaux de bord de visualisation intégrés permettent de suivre le parcours décisionnel de chaque agent, facilitant l’identification des forces et faiblesses. La conception modulaire de WorFBench permet une extension rapide avec de nouvelles tâches ou modèles, favorisant la recherche reproductible et les études comparatives.

La Communication Émergente chez les Agents est un cadre PyTorch open-source conçu pour les chercheurs explorant comment les systèmes multi-agent développent leurs propres protocoles de communication. La bibliothèque offre des implémentations flexibles de tâches d'apprentissage par renforcement coopératif, y compris des jeux référentiels, des jeux combinatoires et des défis d'identification d'objets. Les utilisateurs définissent des architectures d'agents locuteurs et auditeurs, spécifient les propriétés des canaux de message comme la taille du vocabulaire et la longueur de la séquence, et sélectionnent des stratégies d'entraînement telles que les gradients de politique ou l'apprentissage supervisé. Le cadre comprend des scripts de bout en bout pour exécuter des expériences, analyser l'efficacité de communication et visualiser les langues émergentes. Sa conception modulaire facilite l'extension avec de nouveaux environnements de jeu ou des fonctions de perte personnalisées. Les chercheurs peuvent reproduire des études publiées, benchmarker de nouveaux algorithmes et explorer la compositionnalité et la sémantique des langues d'agents émergents.