Web LLM Assistant是一個輕量級的開源框架，可將您的瀏覽器轉變為人工智慧推理平台。它利用WebGPU和WebAssembly後端，在客戶端裝置上直接運行LLM，確保隱私與離線能力。使用者可以導入並切換LLaMA、Vicuna、Alpaca等模型，與助手聊天，並觀看串流回應。模組化的React界面支援主題、對話歷史、系統提示及插件式擴展，以實現自定義行為。開發者可自訂界面、整合外部API，並微調提示詞。部署只需託管靜態檔案，無需後端伺服器。Web LLM Assistant致力於讓任何現代瀏覽器皆能實現高性能的本地推理，推廣AI普及。
