專業批次請求工具

專為高效與穩定性設計的批次請求工具,是實現專業成果的不二選擇。

批次請求

  • 一個開源的Python函式庫,用於並行執行GPT-3/4調用,提升批次提示工作流程中的吞吐量和可靠性。
    0
    0
    Par GPT 是什麼?
    Par GPT提供簡單的介面來並行派發大量的OpenAI GPT調用,優化API使用並降低端到端延遲。開發者定義提示任務,Par GPT會自動管理子進程工作者、強制執行速率限制、重試失敗請求,並將輸出合併為結構化結果。它支持自訂工作者數量、超時設定和並行控制,適用於Windows、macOS和Linux平台。
    Par GPT 核心功能
    • GPT-3/GPT-4的並行執行
    • 可配置的並發數與速率限制
    • 自動重試與錯誤處理
    • 結果彙總為JSON或CSV
    • 支援提示模板與動態輸入
精選