Chatty é uma plataforma de chat de IA de ponta que usa o WebGPU para executar grandes modelos de linguagem diretamente no seu navegador, proporcionando uma experiência rica em recursos e privada. Permite que os usuários participem de conversas inteligentes e automatizadas sem comprometer a privacidade ou desempenho, tornando-a ideal para uma variedade de aplicativos interativos. Essa tecnologia garante que as conversas permaneçam seguras e eficientes, oferecendo uma solução moderna para aqueles que buscam ferramentas de comunicação de IA poderosas e confidenciais.

O Web LLM Assistant é uma estrutura leve de código aberto que transforma seu navegador em uma plataforma de inferência de IA. Usa backends WebGPU e WebAssembly para executar LLMs diretamente nos dispositivos cliente sem servidores, garantindo privacidade e capacidade off-line. Usuários podem importar e alternar entre modelos como LLaMA, Vicuna e Alpaca, conversar com o assistente e ver respostas em streaming. A interface modular baseada em React suporta temas, histórico de conversas, prompts do sistema e extensões similares a plugins para comportamentos personalizados. Desenvolvedores podem personalizar a interface, integrar APIs externas e ajustar prompts. A implantação só exige hospedar arquivos estáticos; nenhum servidor backend é necessário. O Web LLM Assistant democratiza a IA ao permitir inferência local de alto desempenho em qualquer navegador moderno.