SeeAct предназначен для оснащения агентов видения-языка двухступенчатой системой: модуль планирования на базе больших языковых моделей создает подцели на основе наблюдаемых сцен, а модуль выполнения переводит эти подцели в действия, специфичные для окружения. В базовом восприятии извлекаются признаки объектов и сцен из изображений или симуляций. Модульная архитектура позволяет легко заменять планировщики или сети восприятия и поддерживает оценку в AI2-THOR, Habitat и пользовательских средах. SeeAct ускоряет исследование интерактивного embodied AI, предоставляя разложение задач, привязку и выполнение от начала до конца.

Этот репозиторий содержит универсальную коллекцию компонентов многопользовательских систем и методов распределенной ИИ-координации. Он включает реализации алгоритмов согласия, протоколов переговоров Contract-Net, аукционных методов распределения задач, стратегий формирования коалиций и коммуникационных framework между агентами. Пользователи могут использовать встроенные среды моделирования для моделирования и тестирования поведения агентов при различных топологиях сети, сценариях задержки и отказах. Модульная структура позволяет разработчикам и исследователям интегрировать, расширять или настраивать отдельные модули координации для приложений в робототехнике, Интернете вещей, умных сетях и системах распределенного принятия решений.

multiagent_envs — это модульный набор сред на Python, предназначенных для исследований и разработки в области обучения с подкреплением с несколькими агентами. Включает сценарии, такие как кооперативная навигация, хищник-жертва, социальные дилеммы и соревновательные арены. Каждая среда позволяет задавать число агентов, характеристики наблюдений, функции вознаграждения и динамику столкновений. Фреймворк легко интегрируется с популярными RL-библиотеками как Stable Baselines и RLlib, поддерживая векторизированное обучение, параллельное выполнение и легкое логирование. Пользователи могут расширять существующие сценарии или создавать новые с помощью простой API, ускоряя экспериментирование с алгоритмами MADDPG, QMIX, PPO в воспроизводимых условиях.