ChainStreamは、モバイルとデスクトップ向けのクロスプラットフォーム推論フレームワークで、大規模言語モデルの部分出力をリアルタイムでストリーミングします。LLM推論をサブモデルチェーンに分割し、トークンの逐次配信を可能にし、遅延を低減します。開発者はシンプルなC++ APIを使ってChainStreamをアプリに統合し、ONNX RuntimeやTFLiteを選択し、パイプラインのステージをカスタマイズできます。Android、iOS、Windows、Linux、macOS上で動作し、サーバー依存なしに真のデバイス内AIチャット、翻訳、アシスタント機能を実現します。

MemontoはAIエージェント向けのミドルウェアライブラリとして、完全なメモリーライフサイクルを調整します。各会話ターンで、ユーザとAIのメッセージを記録し、重要な詳細を抽出し、コンパクトな概要を生成します。これらの概要は埋め込みに変換され、ベクトルデータベースやファイルベースのストアに保存されます。新しいプロンプトを構築する際、Memontoは意味的検索を行い、最も関連性の高い過去の記憶を取得し、コンテキストを維持し、ユーザの好みを思い出し、パーソナライズされた応答を可能にします。SQLite、FAISS、Redisなどの複数のストレージバックエンドをサポートし、埋め込み、概要化、検索のための設定可能なパイプラインを提供します。開発者は既存のエージェントフレームワークにMemontoをシームレスに統合でき、コヒーレンスと長期的なエンゲージメントを向上させます。