rag-services — это расширяемая платформа, разбивающая пайплайны RAG на отдельные микросервисы. Предоставляет сервис хранения документов, сервис индексирования векторов, сервис embedding, несколько сервисов inference LLM и оркестратор для координации рабочих процессов. Каждый компонент предоставляет REST API, позволяющее сочетать базы данных и поставщиков моделей. Поддержка Docker и Docker Compose позволяет развертывать локально или в кластерах Kubernetes. Фреймворк обеспечивает масштабируемые и отказоустойчивые решения RAG для чатботов, баз знаний и автоматизированных вопросов и ответов.

ROSA (Rover Sequencing & Autonomy) — это комплексная система автономии, разработанная Jet Propulsion Laboratory НАСА для космической робототехники. В ней есть модульный планировщик ИИ, чувствительный к ограничениям планировщик и встроенные симуляторы, которые создают проверенные командные последовательности для работы ровера. Пользователи могут задавать цели миссии, ограничения ресурсов и правила безопасности; ROSA создаст оптимальные планы выполнения, обнаружит конфликты и поддержит быструю переработку в случае непредвиденных событий. Архитектура с плагинами позволяет интегрировать пользовательские датчики, приводы и инструменты анализа телеметрии, обеспечивая автономию миссии от начала до конца для планетарных исследований.

SPEAR (Масштабируемая платформа для реального времени ИИ-инференции на периферии) предназначена для управления полным жизненным циклом ИИ-инференции на периферии. Разработчики могут определять потоки данных, которые собирают сенсорные данные, видео или журналы через коннекторы к Kafka, MQTT или HTTP. SPEAR динамически развертывает контейнерные модели на рабочих узлах, балансируя нагрузку по кластеру и обеспечивая низкую задержку отклика. В ней реализовано встроенное управление версиями моделей, проверки состояния и телеметрия, что позволяет собирать метрики в Prometheus и Grafana. Пользователи могут применять пользовательские преобразования или оповещения с помощью модульной архитектуры плагинов. Благодаря автоматическому масштабированию и восстановлению после сбоев, SPEAR обеспечивает надежную аналитику в реальном времени для IoT, промышленной автоматизации, умных городов и автономных систем в разнородных средах.

Universal Basic Compute предоставляет единое окружение для проектирования, обучения и развертывания AI-агентов в различных рабочих потоках. Пользователи могут выбрать из нескольких больших языковых моделей, настроить пользовательские хранилища памяти для учета контекста и интегрировать сторонние API и инструменты для расширения функциональности. Платформа автоматически управляет оркестровкой, отказоустойчивостью и масштабированием, при этом предоставляя панели мониторинга для отслеживания в реальном времени и анализа производительности. Абстрагируя детали инфраструктуры, команда может сосредоточиться на логике агентов и пользовательском опыте, избегая сложностей бэкенда.

ToolFuzz предоставляет всеобъемлющую платформу для тестирования фуззинга, специально предназначенную для ИИ-агентов, использующих инструменты. Он систематически генерирует случайные последовательности вызова инструментов, поврежденные API-входные данные и неожиданные комбинации параметров для стресс-тестирования модулей вызова инструментов агента. Пользователи могут задавать индивидуальные стратегии фуззинга через модульный интерфейс плагинов, интегрировать сторонние инструменты или API и настраивать правила мутаций для целей тестирования конкретных режимов сбоев. Фреймворк собирает трассировки выполнения, измеряет покрытие кода для каждого компонента и выделяет необработанные исключения или ошибки логики. Встроенная агрегация результатов и отчеты ускоряют выявление крайних случаев, регрессий и уязвимостей безопасности, тем самым повышая надежность и устойчивость рабочих процессов на базе ИИ.

Agent-Oriented Architecture (AOA) — это мощный фреймворк, предоставляющий разработчикам инструменты для построения и обслуживания интеллектуальных мульти-агентных систем. Агенты инкапсулируют состояние, поведение и паттерны взаимодействия, общаясь через асинхронную шину сообщений. В AOA есть модули для регистрации, обнаружения и сопоставления агентов, что обеспечивает динамическую композицию служб. Моделирование поведения поддерживает конечные автоматы, планирование, ориентированное на цели, и триггеры по событиям. Фреймворк управляет событиями жизненного цикла агентов: созданием, приостановкой, миграцией и завершением. Встроенные средства мониторинга и логирования облегчают настройку производительности и отладку. Универсальный транспортный слой поддерживает TCP, HTTP и пользовательские протоколы, что делает его пригодным для локальных, облачных и периферийных развертываний. Интеграция с популярными библиотеками обеспечивает беспрепятственную обработку данных и интеграцию AI-моделей.

Репозиторий Agent Supervisor Demonstrates показывает, как оркестровать несколько автономных ИИ-агентов в скоординированном рабочем процессе. Написанный на Python, он определяет класс Supervisor для распределения задач, мониторинга состояния агентов, обработки сбоев и агрегирования ответов. Вы можете расширять базовые классы агентов, подключать различные API моделей и настраивать политики планирования. Ведет журналы деятельности для аудита, поддерживает параллельное выполнение и предлагает модульную архитектуру для легкой настройки и интеграции в более крупные системы ИИ.

AgentMesh предоставляет модульную инфраструктуру, позволяющую разработчикам создавать сети AI-агентов, каждый из которых сосредоточен на конкретной задаче или области. Агенты могут обнаруживаться и регистрироваться динамически во время выполнения, обмениваться сообщениями асинхронно и следовать настраиваемым правилам маршрутизации. Фреймворк управляет повторными попытками, резервными копиями и восстановлением ошибок, поддерживая многогранные конвейеры для обработки данных, поддержки принятия решений или диалоговых приложений. Легко интегрируется с существующими моделями LLM и пользовательскими моделями через простой интерфейс плагинов.