Sanctum — это передовое приложение AI ассистента, разработанное для запуска полнофункциональных открытых моделей больших языков (LLMs) локально на вашем Mac устройстве. Оно приоритизирует конфиденциальность пользователей, используя AES-256 шифрование для защиты данных, включая историю чата и кэш, и гарантирует, что данные не покинут ваше устройство. Sanctum позволяет пользователям импортировать различные форматы документов, такие как PDF и DOCX, позволяя им задавать вопросы, получать резюме и взаимодействовать с AI совершенно приватно. Это подходит для любого человека, который нуждается в безопасном, надежном AI ассистенте для личного или профессионального использования.

Плагин GAMA Genstar добавляет возможность работы с генеративным ИИ в платформу GAMA, предоставляя коннекторы к OpenAI, локальным LLM и эндпоинтам пользовательских моделей. Пользователи определяют подсказки и пайплайны в GAML для генерации решений агентов, описаний сред и параметров сценариев на лету. Плагин поддерживает синхронные и асинхронные API-запросы, кэширование ответов и настройку параметров. Он упрощает интеграцию моделей на естественном языке в крупномасштабные симуляции, уменьшая объем ручного скриптинга и стимулируя создание более богатого и адаптивного поведения агентов.

Ollama Bot — это агент ИИ на базе Node.js, предназначенный для работы на серверах Discord, использующий CLI Ollama и локальные модели LLM для формирования conversational responses. Он поддерживает постоянный чат-контекст, позволяя пользователям сохранять тему на многие сообщения. Администраторы могут задавать пользовательские подсказки, устанавливать параметры модели и ограничивать команды по ролям. Бот поддерживает несколько моделей LLM, автоматически управляет очередями сообщений для высокой пропускной способности и ведет журналы взаимодействий для аудита. Установка включает клонирование репозитория, установку зависимостей через npm и конфигурацию переменных окружения, таких как токен Discord и настройки Ollama. После развертывания бот слушает slash-команды, перенаправляет запросы к модели Ollama и публикует полученные отклики прямо в каналах Discord.

echoOLlama использует экосистему Ollama для предоставления минимальной структуры агента: он читает пользовательский ввод из терминала, отправляет его сконфигурированному локальному LLM и транслирует ответы в реальном времени. Пользователи могут скриптовать последовательности взаимодействий, связывать подсказки и экспериментировать с инженерией подсказок, не модифицируя исходный код модели. Это делает echoOLlama идеальным средством для тестирования диалоговых сценариев, создания простых командных утилит и обработки итеративных задач агентов, при этом обеспечивая безопасность данных.