llama-cpp-agent — это открытый исходный код фреймворка на C++, предназначенного для полностью автономной работы AI-агентов. Он использует движокInference llama.cpp для обеспечения быстрых взаимодействий с низкой задержкой, поддерживает модульную систему плагинов, конфигурируемую память и выполнение задач. Разработчики могут подключать собственные инструменты, переключаться между локальными моделями LLM и создавать приватные чат-ассистенты без внешних зависимостей.
Основные функции llama-cpp-agent
Модульная система плагинов для пользовательских инструментов
Управление памятью диалогов
Поддержка нескольких бэкендов LLM через llama.cpp
Автономная локальнаяInference для конфиденциальности
Настраиваемые рабочие процессы для подсказок и задач