MindSearch предоставляет модульную архитектуру генерации с расширением за счет поиска, созданную для улучшения работы больших языковых моделей с доступом к знаниям в режиме реального времени. Подключаясь к различным источникам данных, включая локальные файловые системы, хранилища документов и облачные векторные базы данных, MindSearch индексирует и создает встраивания документов с помощью настраиваемых моделей встраивания. Во время выполнения он извлекает наиболее релевантный контекст, перераспределяет результаты с помощью настраиваемых функций оценки и формирует комплексный запрос (prompt) для генерации точных ответов. Также поддерживаются кеширование, мультимодальные данные и пайплайны с несколькими извлекателями. Гибкий API MindSearch позволяет разработчикам настраивать параметры встраивания, стратегии поиска, методы нарезки и шаблоны запросов. Будь то создание диалоговых AI-ассистентов, систем вопрос-ответ или тематических чатботов, MindSearch упрощает интеграцию внешних знаний в приложения на базе LLM.

Модульная архитектура LLM предназначена для упрощения создания настраиваемых приложений на базе LLM посредством композиционной, модульной конструкции. Она предоставляет основные компоненты, такие как модули памяти для хранения состояния сеанса, интерфейсы инструментов для вызовов внешних API, менеджеры подсказок для шаблонного или динамического генерации подсказок и движки оркестровки для управления рабочим процессом агента. Вы можете настраивать пайплайны, соединяющие эти модули, что позволяет реализовать сложные сценарии, такие как многошаговое рассуждение, ответы, учитывающие контекст, и интеграцию данных. Эта платформа поддерживает несколько бэкэндов LLM, позволяя переключаться или смешивать модели, а также предлагает точки расширения для добавления новых модулей или собственной логики. Такая архитектура ускоряет разработку за счет повторного использования компонентов и обеспечивает прозрачность и контроль над поведением агента.