万能なlarge corpus handlingツール

多様な用途に対応可能なlarge corpus handlingツールを利用して、業務の効率化と柔軟性を実現しましょう。

large corpus handling

  • RecurSearchは、クエリを洗練し、RAGパイプラインを強化するための再帰的意味検索を提供するPythonツールキットです。
    0
    0
    RecurSearchとは?
    RecurSearchは、再帰的な意味検索を可能にし、Retrieval-Augmented Generation(RAG)やAIエージェントのワークフローを向上させるためのオープンソースのPythonライブラリです。ユーザーはクエリとドキュメントをベクトル空間に埋め込み、前回の結果に基づいてクエリを繰り返し洗練し、メタデータやキーワードのフィルターを適用し、結果を要約または集約します。このステップごとの洗練により、精度が向上し、API呼び出しを削減し、エージェントが大規模なコーパスから深くネストされたまたはコンテキスト固有の情報を抽出しやすくなります。
  • スケーラブルな検索機能を備えた、テキスト、画像、動画モデルのパフォーマンスを向上させるオープンソースの検索強化ファインチューニングフレームワーク。
    0
    0
    Trinity-RFTとは?
    Trinity-RFT(検索ファインチューニング)は、検索とファインチューニングのワークフローを組み合わせて、モデルの精度と効率を向上させる統一されたオープンソースフレームワークです。コーパスを準備し、検索インデックスを構築し、取得したコンテキストを直接トレーニングループに組み込むことができます。テキスト、画像、動画のマルチモーダル検索をサポートし、一般的なベクトルストアと統合し、評価指標やデプロイスクリプトも提供します。
フィーチャー