Una biblioteca de Python de código abierto para ejecutar llamadas paralelas a GPT-3/4, mejorando el rendimiento y la fiabilidad en flujos de trabajo por lotes de prompts.
Par GPT proporciona una interfaz sencilla para despachar en paralelo grandes volúmenes de llamadas a GPT de OpenAI, optimizando el uso de la API y reduciendo la latencia de extremo a extremo. Los desarrolladores definen tareas de prompt y Par GPT administra automáticamente los trabajadores en subprocesos, aplica límites de tasa, reintenta solicitudes fallidas y consolida salidas en resultados estructurados. Soporta personalización del número de trabajadores, tiempos de espera y controles de concurrencia en plataformas Windows, macOS y Linux.
Características principales de Par GPT
Ejecución paralela de llamadas GPT-3/GPT-4
Límites de concurrencia y tasa configurables
Reintentos automáticos y manejo de errores
Agrupación de resultados en JSON o CSV
Soporte para plantillas de prompts y entradas dinámicas