Модульная архитектура LLM предназначена для упрощения создания настраиваемых приложений на базе LLM посредством композиционной, модульной конструкции. Она предоставляет основные компоненты, такие как модули памяти для хранения состояния сеанса, интерфейсы инструментов для вызовов внешних API, менеджеры подсказок для шаблонного или динамического генерации подсказок и движки оркестровки для управления рабочим процессом агента. Вы можете настраивать пайплайны, соединяющие эти модули, что позволяет реализовать сложные сценарии, такие как многошаговое рассуждение, ответы, учитывающие контекст, и интеграцию данных. Эта платформа поддерживает несколько бэкэндов LLM, позволяя переключаться или смешивать модели, а также предлагает точки расширения для добавления новых модулей или собственной логики. Такая архитектура ускоряет разработку за счет повторного использования компонентов и обеспечивает прозрачность и контроль над поведением агента.