Web LLM Assistant — это лёгкий фреймворк с открытым исходным кодом, который превращает ваш браузер в платформу для инференса ИИ. Он использует бэкенды WebGPU и WebAssembly для прямого запуска LLM на клиентских устройствах без серверов, обеспечивая конфиденциальность и возможность работы в офлайн-режиме. Пользователи могут импортировать и переключаться между моделями, такими как LLaMA, Vicuna, Alpaca, общаться с ассистентом и видеть потоковые ответы. Модульный UI на базе React поддерживает темы, историю диалогов, системные prompts и расширения в виде плагинов для пользовательского поведения. Разработчики могут настраивать интерфейс, интегрировать внешние API и тонко настраивать prompts. Для развертывания достаточно разместить статические файлы, сервер не требуется. Web LLM Assistant делает возможным высокопроизводительную локальную инференс в любом современном браузере.

FireAct Agent — это open-source фреймворк React, предназначенный для создания агентов диалога на базе ИИ. Он предлагает модульную архитектуру, позволяющую определять пользовательские инструменты, управлять памятью сессий и отображать интерфейсы чата с насыщенными типами сообщений. Благодаря типам TypeScript и поддержке серверного рендеринга, FireAct Agent упрощает подключение LLMs, вызов внешних API или функций и сохранение контекста диалога во взаимодействиях. Вы можете настраивать стили, расширять основные компоненты и развертывать на любой веб-платформе.