Web LLM Assistant ist ein leichtgewichtiges Open-Source-Framework, das Ihren Browser in eine KI-Inferenzplattform verwandelt. Es nutzt WebGPU und WebAssembly-Backends, um LLMs direkt auf Client-Geräten ohne Server auszuführen, was Privatsphäre und Offline-Fähigkeit gewährleistet. Benutzer können Modelle wie LLaMA, Vicuna und Alpaca importieren und zwischen ihnen wechseln, mit dem Assistenten chatten und Streaming-Antworten sehen. Die modulare, auf React basierende UI unterstützt Themen, Konversationsverlauf, Systemprompts und pluginartige Erweiterungen für benutzerdefinierte Verhaltensweisen. Entwickler können die Oberfläche anpassen, externe APIs integrieren und Prompts feinabstimmen. Deployment erfordert nur das Hosting statischer Dateien; keine Backend-Server sind notwendig. Web LLM Assistant demokratisiert KI, indem es hochleistungsfähige lokale Inferenz in jedem modernen Webbrowser ermöglicht.

FireAct Agent ist ein Open-Source-React-Framework, das für den Aufbau KI-gestützter Konversationsagenten entwickelt wurde. Es bietet eine modulare Architektur, die es ermöglicht, benutzerdefinierte Tools zu definieren, Sitzungs Speicher zu verwalten und Chat-UIs mit diversen Nachrichtentypen zu rendern. Mit TypeScript-Typen und Unterstützung für serverseitiges Rendering vereinfacht FireAct Agent die Verbindung zu LLMs, die Aufrufe externer APIs oder Funktionen sowie die Beibehaltung des Konversationskontexts über Interaktionen hinweg. Sie können das Styling anpassen, Kernkomponenten erweitern und auf jeder Web-Umgebung bereitstellen.