ThinkThread позволяет разработчикам добавлять постоянную память в приложения, основанные на ChatGPT. Он кодирует каждую обмен информацией с помощью Sentence Transformers и сохраняет векторные представления в популярных хранилищах. При каждом новом пользовательском вводе ThinkThread выполняет семанический поиск, чтобы найти наиболее релевантные прошлые сообщения, которые затем добавляются как контекст в запрос. Этот процесс обеспечивает последовательность, снижает затраты на проектирование prompting и позволяет ботам запоминать долгосрочные детали, такие как предпочтения пользователя, история транзакций или проектная информация.

UniChat служит единым интерфейсом для взаимодействия с различными моделями языковых ИИ и чат-сервисами, позволяя пользователям вести диалоги с несколькими провайдерами из одного рабочего стола. Он интегрирует онлайн API — такие как OpenAI GPT-3, GPT-4, Claude и Google PaLM — а также локальные модели, такие как GPT4All или LLaMA. Клиент поддерживает сохранение истории диалогов, экспорт чатов, настраиваемые шаблоны подсказок, загрузку файлов для контекста и темы оформления. Система плагинов позволяет разработчикам и сообществу добавлять новые возможности, соединители и улучшения пользовательского интерфейса. Централизованное управление API-ключами и офлайн-режим для локальных моделей дают пользователям полный контроль над их взаимодействиями с ИИ, конфиденциальностью и затратами.

Ollama Bot — это агент ИИ на базе Node.js, предназначенный для работы на серверах Discord, использующий CLI Ollama и локальные модели LLM для формирования conversational responses. Он поддерживает постоянный чат-контекст, позволяя пользователям сохранять тему на многие сообщения. Администраторы могут задавать пользовательские подсказки, устанавливать параметры модели и ограничивать команды по ролям. Бот поддерживает несколько моделей LLM, автоматически управляет очередями сообщений для высокой пропускной способности и ведет журналы взаимодействий для аудита. Установка включает клонирование репозитория, установку зависимостей через npm и конфигурацию переменных окружения, таких как токен Discord и настройки Ollama. После развертывания бот слушает slash-команды, перенаправляет запросы к модели Ollama и публикует полученные отклики прямо в каналах Discord.