LLaVA-Plus основан на передовых моделях vision-language и способен одновременно интерпретировать и рассуждать по нескольким изображениям. Он интегрирует сборочное обучение и планирование vision-language для выполнения сложных задач, таких как визуальный ответ на вопросы, пошаговое решение проблем и многостадийные инференсионные рабочие процессы. Архитектура модуля поддерживает подключение различных LLM-бэкендов, позволяет настраивать подсказки и предоставлять динамическое объяснение цепочки рассуждений. Пользователи могут развернуть LLaVA-Plus локально или через хостинг-платформу, загружая изображения, задавая вопросы на естественном языке и получая расширенные объяснительные ответы с планами. Расширяемый дизайн способствует быстрому прототипированию мультимодальных решений, делая платформу идеально подходящей для исследований, обучения и производственных решений в области vision-language.

LLM-Blender-Agent позволяет разработчикам создавать модульные системы ИИ с несколькими агентами, оборачивая LLM в совместные агенты. Каждый агент может получить доступ к инструментам, таким как выполнение Python, парсинг веб-страниц, SQL-базы данных и внешние API. Фреймворк управляет памятью диалогов, пошаговым рассуждением и оркестровкой инструментов, поддерживая такие задачи, как создание отчетов, анализ данных, автоматизированные исследования и автоматизация рабочих процессов. Основанный на LangChain, он легкий, расширяемый и совместим с GPT-3.5, GPT-4 и другими LLM.

Magi MDA — это ориентированная на разработчика платформа для создания автономных агентов, которая упрощает их создание и внедрение. Она включает набор основных компонентов — планировщиков, исполнителей, интерпретаторов и памяти — которые можно собирать в индивидуальные пайплайны. Пользователи могут подключаться к популярным поставщикам LLM для генерации текста, добавлять модули поиска для дополнения знаний и интегрировать любые инструменты или API для специализированных задач. Framework автоматически обрабатывает пошаговое reasoning, маршрутизацию инструментов и управление контекстом, позволяя командам сосредоточиться на бизнес-логике, а не на проблемах оркестровки.

ReasonChain предоставляет модульную конвейерную систему для построения последовательностей операций на базе LLM, где вывод каждого шага подается на вход следующему. Пользователи могут определять пользовательские узлы цепочек для генерации подсказок, вызова API у разных поставщиков LLM, условной логики маршрутизации и функций агрегирования финальных результатов. Встроенные инструменты для отладки и логирования позволяют отслеживать промежуточные состояния, поддерживают запросы к векторным базам данных и легко расширяются с помощью пользовательских модулей. Независимо от целей — решение многоступенчатых задач рассуждения, организация преобразований данных или создание диалоговых агентов с памятью — ReasonChain предоставляет прозрачную, многократно используемую и тестируемую среду. Его дизайн стимулирует эксперименты с стратегиями цепочек мысли, что делает его идеальным для исследований, прототипирования и решений для производства AI.