PromptsLabs - это платформа, на которой пользователи могут обнаруживать и делиться подсказками для тестирования новых языковых моделей. Библиотека, управляемая сообществом, предоставляет широкий спектр подсказок для копирования и вставки, а также их ожидаемые результаты, помогая пользователям понять и оценить производительность различных LLM. Пользователи также могут вносить свои собственные подсказки, обеспечивая постоянно растущий и актуальный ресурс.

llm-tournament обеспечивает модульный и расширяемый подход к оценки больших языковых моделей. Пользователи задают участников (LLMs), настраивают структуру турнира, определяют подсказки и логику оценки, запускают автоматические раунды. Результаты собираются в таблицы лидеров и визуализации, что помогает принимать решения при выборе и донастройке моделей. Фреймворк поддерживает пользовательские задачи, метрики оценки и пакетное выполнение как в облаке, так и локально.