llama-cpp-agent是一個開源的C++框架，可完整離線運行AI代理。它利用llama.cpp推理引擎提供快速、低延時的互動，支持模組化插件系統、可配置記憶體和任務執行。開發者可以整合自定義工具，切換多個本地LLM模型，建立重視隱私的對話助手，無需外部依賴。

Mistral Small 3是一個擁有24B參數、低延遲的AI模型，在需求快速反應和低延遲的語言任務中表現出色。它在MMLU上達到超過81%的精確度，每秒處理150個標記，使其成為市場上最高效的模型之一。此模型旨在本地部署及快速功能執行，非常適合需要快速可靠的AI能力的開發人員。此外，它支持在法律、醫療和技術領域等不同領域的專業任務進行微調，同時確保本地推斷以提升資料安全。