Eine Open-Source-Python-Bibliothek zum Ausführen paralleler GPT-3/4-Aufrufe, die die Durchsatzrate und Zuverlässigkeit bei Batch-Prompt-Workflows verbessert.
Par GPT bietet eine einfache Schnittstelle, um große Volumina an OpenAI GPT-Aufrufen parallel zu dispatchen, API-Nutzung zu optimieren und die End-to-End-Latenz zu reduzieren. Entwickler definieren Prompt-Tasks, und Par GPT verwaltet automatisch Unterprozess-Worker, erzwingt Ratenlimits, wiederholt fehlgeschlagene Anfragen und konsolidiert Ausgaben in strukturierte Ergebnisse. Es unterstützt die Anpassung der Worker-Anzahl, Zeitlimits und Kontrollmechanismen für gleichzeitige Ausführung auf Windows-, macOS- und Linux-Plattformen.
Par GPT Hauptfunktionen
Parallele Ausführung von GPT-3/GPT-4-Aufrufen
Konfigurierbare gleichzeitige Verbindungen und Ratenlimits
Automatischer Retry und Fehlerbehandlung
Resultataggregation in JSON oder CSV
Unterstützung für Prompt-Vorlagen und dynamische Eingaben