Chatty — это передовая платформа AI-чатов, использующая WebGPU для прямого запуска больших языковых моделей в вашем браузере, обеспечивая богатый и приватный опыт. Она позволяет пользователям участвовать в интеллектуальных, автоматизированных беседах, не жертвуя конфиденциальностью или производительностью, что делает ее идеальной для различных интерактивных приложений. Эта технология гарантирует, что разговоры остаются защищенными и эффективными, предлагая современное решение для тех, кто ищет мощные и конфиденциальные инструменты AI-коммуникации.

Web LLM Assistant — это лёгкий фреймворк с открытым исходным кодом, который превращает ваш браузер в платформу для инференса ИИ. Он использует бэкенды WebGPU и WebAssembly для прямого запуска LLM на клиентских устройствах без серверов, обеспечивая конфиденциальность и возможность работы в офлайн-режиме. Пользователи могут импортировать и переключаться между моделями, такими как LLaMA, Vicuna, Alpaca, общаться с ассистентом и видеть потоковые ответы. Модульный UI на базе React поддерживает темы, историю диалогов, системные prompts и расширения в виде плагинов для пользовательского поведения. Разработчики могут настраивать интерфейс, интегрировать внешние API и тонко настраивать prompts. Для развертывания достаточно разместить статические файлы, сервер не требуется. Web LLM Assistant делает возможным высокопроизводительную локальную инференс в любом современном браузере.