SmartRAG是一個模塊化的Python函式庫，設計用於搭配大型語言模型的檢索增強生成（RAG）工作流程。它結合了文件引入、向量索引和先進的LLM API，可提供準確且富含上下文的回應。用戶可以匯入PDF、文本檔或網頁，使用FAISS或Chroma等流行的向量存儲進行索引，並定義自訂的提示範本。SmartRAG負責協調檢索、提示組合與LLM推理，並回傳依據資料來源的連貫答案。通過抽象化RAG流程的複雜度，加快知識庫問答系統、聊天機器人及研究助理的開發速度。開發者可以擴充連接器、更換LLM供應商，並微調檢索策略以符合特定知識領域。

rag-services是一個可擴展的平台，將RAG流程拆分成不同的微服務。它提供文件存儲服務、向量索引服務、嵌入服務、多個LLM推理服務，以及協調工作流程的編排器。每個模組都提供REST API，允許你組合資料庫和模型供應商。支持Docker和Docker Compose，可以在本地或Kubernetes叢集部署。此框架支持為聊天機器人、知識庫和自動文件問答提供擴展性和容錯性強的解決方案。