Trinity-RFT（検索ファインチューニング）は、検索とファインチューニングのワークフローを組み合わせて、モデルの精度と効率を向上させる統一されたオープンソースフレームワークです。コーパスを準備し、検索インデックスを構築し、取得したコンテキストを直接トレーニングループに組み込むことができます。テキスト、画像、動画のマルチモーダル検索をサポートし、一般的なベクトルストアと統合し、評価指標やデプロイスクリプトも提供します。

AgentReaderは、開発者に優しいAIエージェントフレームワークであり、PDF、テキストファイル、Markdownドキュメント、Webページなどのさまざまなデータソースを読み込み、インデックス化できます。主要なLLMプロバイダーとシームレスに統合し、インタラクティブなチャットセッションや知識ベースの質問応答を実現します。特徴には、リアルタイムのモデルレスポンスのストリーミング、カスタマイズ可能な検索パイプライン、ヘッドレスブラウザを用いたWebスクレイピング、拡張可能なプラグインアーキテクチャがあります。

AI_RAGは、ドキュメントのインデックス作成、ベクター検索、埋め込み生成、LLM駆動の応答作成を組み合わせたモジュール式の検索強化生成ソリューションを提供します。ユーザーはテキストドキュメントのコーパスを準備し、FAISSやPineconeなどのベクトルストアに接続し、埋め込みとLLMのエンドポイントを設定し、インデックス作成プロセスを実行します。クエリが到着すると、AI_RAGは最も適切なパッセージを検索し、それらをプロンプトとともに選択した言語モデルに入力し、コンテキストに基づいた応答を返します。その拡張性の高い設計により、カスタムコネクタ、多モデルのサポート、検索と生成パラメータの詳細な制御が可能で、知識ベースや高度な会話エージェントに最適です。

eigenDBはAIや機械学習のワークロード向けに特別に設計されたベクターデータベースです。高次元埋め込みベクトルをリアルタイムで取り込み、インデックスし、クエリを実行できます。何十億ものベクトルをサポートし、サブ秒の検索時間を実現します。自動シャード管理、動的スケーリング、多次元インデックスなどの機能を備え、RESTful APIや一般的な言語のクライアントSDKを通じて利用可能です。高度なメタデータフィルタリング、セキュリティコントロール、パフォーマンス監視のためのダッシュボードも提供します。意味検索やレコメンデーションエンジン、異常検知などにおいて、信頼性の高い高スループットなAIアプリケーション基盤を提供します。

人気のLlamaIndexフレームワークの堅牢なGo実装であるLlama-Index-Goは、テキストデータからベクトルベースのインデックスを構築およびクエリするためのエンドツーエンドの機能を提供します。組み込みまたはカスタムローダーを介してドキュメントをロードし、OpenAIや他の提供者を利用して埋め込みを生成し、メモリまたは外部ベクトルデータベースにストアします。QueryEngine APIは、キーワードおよびセマンティック検索、ブールフィルタ、LLMsを用いたリトリバー強化生成をサポートします。Markdown、JSON、HTML用のパーサーを拡張したり、代替の埋め込みモデルを導入も可能です。モジュール式のコンポーネントと明確なインターフェースにより、高性能、デバッグ容易、マイクロサービス、CLIツール、Webアプリケーションへの柔軟な統合を実現し、AI駆動の検索とチャットソリューションの迅速なプロト実現を支援します。