Web LLM Assistant是一個輕量級的開源框架,可將您的瀏覽器轉變為人工智慧推理平台。它利用WebGPU和WebAssembly後端,在客戶端裝置上直接運行LLM,確保隱私與離線能力。使用者可以導入並切換LLaMA、Vicuna、Alpaca等模型,與助手聊天,並觀看串流回應。模組化的React界面支援主題、對話歷史、系統提示及插件式擴展,以實現自定義行為。開發者可自訂界面、整合外部API,並微調提示詞。部署只需託管靜態檔案,無需後端伺服器。Web LLM Assistant致力於讓任何現代瀏覽器皆能實現高性能的本地推理,推廣AI普及。