Granite Retrieval Agent предоставляет разработчикам гибкую платформу для создания генеративных AI-агентов с повышенной точностью, объединяющих семантический поиск и большие языковые модели. Пользователи могут внедрять документы из разнообразных источников, создавать векторные вкрапления и настраивать индексы Azure Cognitive Search или другие хранилища векторов. При поступлении запроса агент извлекает наиболее релевантные отрывки, создает контекстные окна и вызывает API LLM для получения точных ответов или сводок. Поддерживается управление памятью, оркестрация цепочек мышления и пользовательские плагины для пред- и пост-обработки. Возможна установка через Docker или прямо на Python, что ускоряет создание чатботов на базе знания, корпоративных помощников и систем Q&A с меньшим количеством галлюцинаций и повышенной точностью фактов.

OmniSteward — это модульная платформа оркестрации ИИ-агентов на Python, которая подключается к OpenAI, локальным LLM и поддерживает пользовательские модели. Она предоставляет модули памяти для хранения контекста, наборы инструментов для API-вызовов, веб-поиска, выполнения кода и запросов к базам данных. Пользователи определяют шаблоны агентов с подсказками, рабочими потоками и триггерами. Фреймворк оркестрирует нескольких агентов параллельно, управляет историей диалогов и автоматизирует задачи с помощью пайплайнов. Также включает логирование, панели мониторинга, плагины, интеграцию с сторонними сервисами. OmniSteward упрощает создание специализированных помощников для исследований, операций, маркетинга и других областей, предлагая гибкость, масштабируемость и открытый исходный код для предприятий и разработчиков.