Библиотека Python с открытым исходным кодом для выполнения параллельных вызовов GPT-3/4, повышая пропускную способность и надежность в пакетных рабочих процессах.
Par GPT предоставляет простой интерфейс для одновременной отправки больших объемов вызовов OpenAI GPT, оптимизируя использование API и сокращая задержки от начала до конца. Разработчики задают задачи с подсказками, и Par GPT автоматически управляет дочерними рабочими процессами, применяет лимиты скорости, повторяет неудачные запросы и объединяет выводы в структурированные результаты. Поддерживается настройка количества рабочих процессов, таймаутов и контроля конкурентности на платформах Windows, macOS и Linux.
Основные функции Par GPT
Параллельное выполнение вызовов GPT-3/GPT-4
Настраиваемая конкуренция и лимиты скорости
Автоматические повторные попытки и обработка ошибок
Агрегация результатов в JSON или CSV
Поддержка шаблонов подсказок и динамических входных данных