Репозиторий Agent Supervisor Demonstrates показывает, как оркестровать несколько автономных ИИ-агентов в скоординированном рабочем процессе. Написанный на Python, он определяет класс Supervisor для распределения задач, мониторинга состояния агентов, обработки сбоев и агрегирования ответов. Вы можете расширять базовые классы агентов, подключать различные API моделей и настраивать политики планирования. Ведет журналы деятельности для аудита, поддерживает параллельное выполнение и предлагает модульную архитектуру для легкой настройки и интеграции в более крупные системы ИИ.

LifelongAgentBench предназначена для моделирования реальных сценариев постоянного обучения, позволяя разработчикам тестировать AI-агентов на последовательности развивающихся задач. Фреймворк предоставляет API plug-and-play для определения новых сценариев, загрузки наборов данных и настройки политик управления памятью. Встроенные модули оценки считают метрики такие, как перенос вперед, перенос назад, уровень забывания и комбинированная производительность. Пользователи могут запускать базовые реализации или интегрировать проприетарных агентов, чтобы обеспечить сравнение при одинаковых условиях. Результаты экспортируются в стандартизированные отчеты с интерактивными графиками и таблицами. Модульная архитектура поддерживает расширения с кастомными загрузчиками данных, метриками и плагинами визуализации, что позволяет исследователям и инженерам адаптировать платформу под разные области применения.

Multi-Agent-AI-Models-and-Path-Planning предоставляет полный набор инструментов для разработки и тестирования систем с несколькими агентами в сочетании с классическими и современными методами планирования маршрутов. Включает реализации алгоритмов таких как A*, Dijkstra, RRT и потенциальных полей, а также настраиваемые модели поведения агентов. Встроенные модули моделирования и визуализации позволяют удобно создавать сценарии, осуществлять мониторинг в реальном времени и анализировать производительность. Предназначен для расширения, пользователи могут добавлять новые алгоритмы планирования или модели решений агентов для оценки совместной навигации и распределения задач в сложных условиях.

Open Agent Leaderboard предлагает полный конвейер оценки для open-source AI-агентов. В него входит тщательно подобранный набор задач, охватывающих рассуждение, планирование, вопросы и ответы и использование инструментов, автоматический запуск агентов в изолированных средах и скрипты для сбора метрик эффективности, таких как коэффициент успеха, время выполнения и потребление ресурсов. Результаты агрегируются и отображаются на веб-таблице лидеров с фильтрами, графиками и историческими сравнениями. Фреймворк поддерживает Docker для воспроизводимости, интеграционные шаблоны для популярных архитектур агентов и расширяемые конфигурации для легко добавляемых новых задач или метрик.