LLPhant — это открытая Python-библиотека, позволяющая разработчикам создавать универсальных агентов на базе LLM. Предоставляет встроенные абстракции для интеграции инструментов (API, поиск, базы данных), управления памятью для многократных раундов диалогов и настраиваемых циклов принятия решений. Поддерживая несколько бекендов LLM (OpenAI, Hugging Face и другие), плагинообразные компоненты и рабочие процессы, основанные на конфигурации, LLPhant ускоряет разработку агентов. Используйте для создания чат-ботов, автоматизации задач или построения цифровых помощников, использующих внешние инструменты и контекстную память без стандартного кода.

Rags предоставляет модульную pipeline для построения приложений с дополненной генерацией и поиском. Интегрируется с популярными векторными хранилищами (например, FAISS, Pinecone), предлагает настраиваемые шаблоны подсказок и модули памяти для хранения контекста. Разработчики могут переключаться между поставщиками LLM, такими как Llama-2, GPT-4 и Claude2, через единый API. Rags поддерживает потоковую обработку ответов, кастомную предварительную обработку и хуки оценки. Благодаря расширяемому дизайну он легко интегрируется в производственные системы, обеспечивая автоматический ввод документов, семантический поиск и масштабные задачи генерации для чат-ботов, ассистентов по знаниям и сжатия документов.