Amazon Bedrock Custom LangChain Agent是一個參考架構與範例程式碼，示範如何結合AWS Bedrock的基礎模型與LangChain來建構AI代理。你可以定義工具（API、資料庫、RAG檢索器）、設定代理政策與記憶，並呼叫多階段推理流程。支援串流輸出以實現低延遲的用戶體驗，整合回呼處理器以進行監控，並以IAM角色確保安全。此方法可加速部署智慧型助手，用於客服、資料分析與流程自動化，皆可在AWS可擴展雲端完成。

ChainStream 是一個跨平台的手機與桌面推理框架，可以實時串流大型語言模型的部分輸出。它將 LLM 推理拆分為子模型鏈，實現增量式 Token 傳遞並降低感知延遲。開發者可以用簡單的 C++ API 將 ChainStream 整合到應用中，選擇偏好的後端如 ONNX Runtime 或 TFLite，並自訂流水線階段。它可以在 Android、iOS、Windows、Linux 和 macOS 上運行，實現真正的裝置內 AI 聊天、翻譯和助手功能，且無需伺服器依賴。