Granite Retrieval Agent предоставляет разработчикам гибкую платформу для создания генеративных AI-агентов с повышенной точностью, объединяющих семантический поиск и большие языковые модели. Пользователи могут внедрять документы из разнообразных источников, создавать векторные вкрапления и настраивать индексы Azure Cognitive Search или другие хранилища векторов. При поступлении запроса агент извлекает наиболее релевантные отрывки, создает контекстные окна и вызывает API LLM для получения точных ответов или сводок. Поддерживается управление памятью, оркестрация цепочек мышления и пользовательские плагины для пред- и пост-обработки. Возможна установка через Docker или прямо на Python, что ускоряет создание чатботов на базе знания, корпоративных помощников и систем Q&A с меньшим количеством галлюцинаций и повышенной точностью фактов.

RAG для кибербезопасности сочетает мощь больших языковых моделей с векторным поиском для трансформации способов доступа и анализа информации по кибербезопасности. Пользователи начинают с загрузки документов, таких как матрицы MITRE ATT&CK, записи CVE и рекомендации по безопасности. Затем фреймворк создает векторные представления для каждого документа и храни их в векторной базе данных. При отправке запроса RAG извлекает наиболее релевантные части документов, передает их LLM и возвращает точные, насыщенные контекстом ответы. Такой подход обеспечивает ответы, основанные на авторитетных источниках, уменьшает галлюцинации и повышает точность. Благодаря настраиваемым каналам обработки данных и поддержке нескольких провайдеровEmbedding и LLM, команды могут адаптировать систему под свои уникальные потребности в области разведки угроз.