Arenasは、LLM搭載エージェントの開発サイクルの効率化を目的としています。開発者は、エージェントのペルソナを定義し、外部APIやツールをプラグインとして統合し、柔軟なDSLを使用してマルチステップワークフローを構成できます。このフレームワークは、会話の記憶、エラー処理、ロギングを管理し、堅牢なRAGパイプラインとマルチエージェントのコラボレーションを可能にします。CLIとREST APIを使用して、チームはローカルでエージェントのプロトタイプ作成と展開が可能で、マイクロサービスやコンテナ化されたアプリケーションとして展開できます。Arenasは、主要なLLMプロバイダーをサポートし、監視ダッシュボードを提供し、一般的なユースケース向けのテンプレートも備えています。この柔軟なアーキテクチャにより、ボイラープレートコードが削減され、顧客エンゲージメント、研究、データ処理などの分野でのAI駆動ソリューションの市場投入までの時間が短縮されます。

EnergeticAIは、オープンソースAIモデルの統合を簡素化するために設計されたNode.jsライブラリです。サーバーレス機能向けに最適化されたTensorFlow.jsを活用し、迅速なコールドスタートと効率的なパフォーマンスを確保します。埋め込みや分類器など、一般的なAIタスクのための事前トレーニング済みモデルを用意し、展開プロセスを加速させ、開発者によるAI統合をシームレスにします。サーバーレス最適化に焦点を当てることで、最大67倍の高速な実行を保証し、現代のマイクロサービスアーキテクチャに最適です。

Lettaは、複雑なワークフローをインテリジェントなデジタルワーカーを通じて自動化できる組織向けの包括的なAIエージェントオーケストレーションプラットフォームです。カスタマイズ可能なエージェントテンプレートと強力なビジュアルワークフロービルダーを組み合わせて、ステップバイステップのプロセス定義、多様なAPIやデータソースの統合、自律型エージェントの展開を可能にします。マイクロサービスアーキテクチャに基づき、一般的なAIモデル、バージョン管理、ガバナンスツールを内蔵しています。リアルタイムのダッシュボードからエージェントの活動、パフォーマンス指標、エラー処理の洞察を得て、透明性と信頼性を確保します。ロールベースのアクセス制御と安全な展開オプションにより、Lettaはパイロットプロジェクトから企業全体のデジタルワークフォース管理までスケールします。

人気のLlamaIndexフレームワークの堅牢なGo実装であるLlama-Index-Goは、テキストデータからベクトルベースのインデックスを構築およびクエリするためのエンドツーエンドの機能を提供します。組み込みまたはカスタムローダーを介してドキュメントをロードし、OpenAIや他の提供者を利用して埋め込みを生成し、メモリまたは外部ベクトルデータベースにストアします。QueryEngine APIは、キーワードおよびセマンティック検索、ブールフィルタ、LLMsを用いたリトリバー強化生成をサポートします。Markdown、JSON、HTML用のパーサーを拡張したり、代替の埋め込みモデルを導入も可能です。モジュール式のコンポーネントと明確なインターフェースにより、高性能、デバッグ容易、マイクロサービス、CLIツール、Webアプリケーションへの柔軟な統合を実現し、AI駆動の検索とチャットソリューションの迅速なプロト実現を支援します。

rag-servicesは、RAGパイプラインを個別のマイクロサービスに分解する拡張可能なプラットフォームです。ドキュメントストアサービス、ベクトルインデックスサービス、エンベディング生成サービス、複数のLLM推論サービスと、ワークフローを調整するオーケストレータを提供します。各コンポーネントはREST APIを公開し、データベースやモデルプロバイダーを組み合わせることが可能です。DockerとDocker Composeをサポートし、ローカルまたはKubernetesクラスターに展開できます。このフレームワークは、チャットボット、ナレッジベース、自動ドキュメントQ&Aのためのスケーラブルでフォールトトレラントなソリューションを提供します。