Une bibliothèque Python open-source pour exécuter des appels parallèles GPT-3/4, améliorant le débit et la fiabilité dans les flux de travail par lot de prompts.
Par GPT fournit une interface simple pour dispatcher en parallèle de gros volumes d'appels GPT d'OpenAI, optimisant l'utilisation de l'API et réduisant la latence de bout en bout. Les développeurs définissent des tâches de prompt, et Par GPT gère automatiquement les workers en sous-processus, impose des limites de débit, refait les demandes échouées et consolide les sorties en résultats structurés. Il supporte la personnalisation du nombre de workers, des délais d'attente et des contrôles de concurrence sur Windows, macOS et Linux.
Fonctionnalités principales de Par GPT
Exécution parallèle des appels GPT-3/GPT-4
Concurrence configurable et limites de taux
Reprise automatique et gestion des erreurs
Agrégation des résultats en JSON ou CSV
Support pour modèles de prompt et entrées dynamiques