rag-servicesは、RAGパイプラインを個別のマイクロサービスに分解する拡張可能なプラットフォームです。ドキュメントストアサービス、ベクトルインデックスサービス、エンベディング生成サービス、複数のLLM推論サービスと、ワークフローを調整するオーケストレータを提供します。各コンポーネントはREST APIを公開し、データベースやモデルプロバイダーを組み合わせることが可能です。DockerとDocker Composeをサポートし、ローカルまたはKubernetesクラスターに展開できます。このフレームワークは、チャットボット、ナレッジベース、自動ドキュメントQ&Aのためのスケーラブルでフォールトトレラントなソリューションを提供します。

Arenasは、LLM搭載エージェントの開発サイクルの効率化を目的としています。開発者は、エージェントのペルソナを定義し、外部APIやツールをプラグインとして統合し、柔軟なDSLを使用してマルチステップワークフローを構成できます。このフレームワークは、会話の記憶、エラー処理、ロギングを管理し、堅牢なRAGパイプラインとマルチエージェントのコラボレーションを可能にします。CLIとREST APIを使用して、チームはローカルでエージェントのプロトタイプ作成と展開が可能で、マイクロサービスやコンテナ化されたアプリケーションとして展開できます。Arenasは、主要なLLMプロバイダーをサポートし、監視ダッシュボードを提供し、一般的なユースケース向けのテンプレートも備えています。この柔軟なアーキテクチャにより、ボイラープレートコードが削減され、顧客エンゲージメント、研究、データ処理などの分野でのAI駆動ソリューションの市場投入までの時間が短縮されます。