llama-cpp-agent — это открытый исходный код фреймворка на C++, предназначенного для полностью автономной работы AI-агентов. Он использует движокInference llama.cpp для обеспечения быстрых взаимодействий с низкой задержкой, поддерживает модульную систему плагинов, конфигурируемую память и выполнение задач. Разработчики могут подключать собственные инструменты, переключаться между локальными моделями LLM и создавать приватные чат-ассистенты без внешних зависимостей.

Mistral Small 3 — это ИИ модель с 24B параметрами, оптимизированная для низкой задержки, которая превосходит в языковых задачах, требующих быстрых ответов и низкой задержки. Она достигает более 81% точности на MMLU и обрабатывает 150 токенов в секунду, что делает её одной из самых эффективных моделей на рынке. Эта модель предназначена как для локального развертывания, так и для быстрого выполнения функций, что делает её идеальной для разработчиков, которым нужны быстрые и надежные возможности ИИ. Кроме того, она поддерживает дообучение для специализированных задач в различных областях, таких как право, медицина и технические области, обеспечивая локальный вывод для повышения безопасности данных.