LLM Functions提供一個簡單的框架，將大語言模型的回應與實際的程式執行連接。用戶通過JSON schema定義函數，將其註冊到庫中，並在合適時由LLM返回結構化的函數調用。庫會解析這些回應，驗證參數，並調用正確的處理程序。支持同步和異步回調、自定義錯誤處理及插件擴展，非常適合需要動態數據查詢、外部API調用或在AI驅動的對話中執行複雜商務邏輯的應用。

Granite Retrieval Agent為開發者提供一個彈性平台，用於建構結合語義搜索與大語言模型的檢索增強生成型AI代理。用戶可從多樣資料來源導入文件，建立向量嵌入並配置Azure Cognitive Search索引或其他向量存儲。在收到查詢時，代理會檢索最相關的段落，建立上下文窗口，並調用LLM API以取得精確答案或摘要。它支援記憶管理、思維鏈協調與客製插件的前後處理。透過Docker或Python直接部署，Granite Retrieval Agent能加速建立知識驅動的聊天機器人、企業助理與問答系統，減少幻覺並提升事實準確性。

PromptMule是一個針對生成性AI和大型語言模型應用的雲端API快取服務。透過提供低延遲的AI和LLM優化快取，它顯著降低了API調用成本並提升了應用性能。其強大的安全措施確保數據保護，同時實現高效擴展。開發人員可以利用PromptMule來提升他們的GenAI應用，實現更快的響應時間和降低運營成本，使其成為現代應用開發中不可或缺的工具。