Chatty es una plataforma de chat de IA de vanguardia que utiliza WebGPU para ejecutar modelos de lenguaje grandes directamente en tu navegador, proporcionando una experiencia rica en funciones y privada. Permite a los usuarios participar en conversaciones inteligentes y automatizadas sin comprometer la privacidad o el rendimiento, lo que la convierte en ideal para una variedad de aplicaciones interactivas. Esta tecnología asegura que las conversaciones se mantengan seguras y eficientes, ofreciendo una solución moderna para aquellos que buscan herramientas de comunicación de IA poderosas y confidenciales.

Web LLM Assistant es un marco ligero de código abierto que transforma tu navegador en una plataforma de inferencia de IA. Utiliza backends WebGPU y WebAssembly para ejecutar directamente LLM en los dispositivos del cliente sin necesidad de servidores, asegurando privacidad y capacidad offline. Los usuarios pueden importar y cambiar entre modelos como LLaMA, Vicuna y Alpaca, conversar con el asistente y ver respuestas en streaming. La interfaz modular basada en React soporta temas, historial de conversaciones, prompts del sistema y extensiones tipo plugin para comportamientos personalizados. Los desarrolladores pueden personalizar la interfaz, integrar APIs externas y ajustar los prompts. El despliegue solo requiere hospedar archivos estáticos; no se necesitan servidores backend. Web LLM Assistant democratiza la IA permitiendo inferencias locales de alto rendimiento en cualquier navegador moderno.