llama-cpp-agent — это открытый исходный код фреймворка на C++, предназначенного для полностью автономной работы AI-агентов. Он использует движокInference llama.cpp для обеспечения быстрых взаимодействий с низкой задержкой, поддерживает модульную систему плагинов, конфигурируемую память и выполнение задач. Разработчики могут подключать собственные инструменты, переключаться между локальными моделями LLM и создавать приватные чат-ассистенты без внешних зависимостей.
Основные функции llama-cpp-agent
Модульная система плагинов для пользовательских инструментов
Управление памятью диалогов
Поддержка нескольких бэкендов LLM через llama.cpp
Автономная локальнаяInference для конфиденциальности
Настраиваемые рабочие процессы для подсказок и задач
Notte — это ориентированный на разработчика фреймворк на Python, предназначенный для оркестровки ИИ-агентов, управляемых большими языковыми моделями. Он предоставляет встроенные модули памяти для хранения и получения контекста диалогов, гибкую интеграцию инструментов для внешних API или пользовательских функций и движок планирования, который последовательным образом структурирует задачи. С помощью Notte вы можете быстро создавать прототипы диалоговых ассистентов, ботов анализа данных или автоматизированных рабочих процессов, а также пользоваться преимуществами расширяемости с открытым исходным кодом и поддержки кроссплатформенных решений.