Web LLM Assistant es un marco ligero de código abierto que transforma tu navegador en una plataforma de inferencia de IA. Utiliza backends WebGPU y WebAssembly para ejecutar directamente LLM en los dispositivos del cliente sin necesidad de servidores, asegurando privacidad y capacidad offline. Los usuarios pueden importar y cambiar entre modelos como LLaMA, Vicuna y Alpaca, conversar con el asistente y ver respuestas en streaming. La interfaz modular basada en React soporta temas, historial de conversaciones, prompts del sistema y extensiones tipo plugin para comportamientos personalizados. Los desarrolladores pueden personalizar la interfaz, integrar APIs externas y ajustar los prompts. El despliegue solo requiere hospedar archivos estáticos; no se necesitan servidores backend. Web LLM Assistant democratiza la IA permitiendo inferencias locales de alto rendimiento en cualquier navegador moderno.

llama-cpp-agent es un framework de código abierto en C++ para ejecutar agentes de IA completamente offline. Aprovecha el motor de inferencia llama.cpp para proporcionar interacciones rápidas y de baja latencia, y soporta un sistema modular de plugins, memoria configurable y ejecución de tareas. Los desarrolladores pueden integrar herramientas personalizadas, cambiar entre diferentes modelos LLM locales y construir asistentes conversacionales centrados en la privacidad sin dependencias externas.