SPEAR (Масштабируемая платформа для реального времени ИИ-инференции на периферии) предназначена для управления полным жизненным циклом ИИ-инференции на периферии. Разработчики могут определять потоки данных, которые собирают сенсорные данные, видео или журналы через коннекторы к Kafka, MQTT или HTTP. SPEAR динамически развертывает контейнерные модели на рабочих узлах, балансируя нагрузку по кластеру и обеспечивая низкую задержку отклика. В ней реализовано встроенное управление версиями моделей, проверки состояния и телеметрия, что позволяет собирать метрики в Prometheus и Grafana. Пользователи могут применять пользовательские преобразования или оповещения с помощью модульной архитектуры плагинов. Благодаря автоматическому масштабированию и восстановлению после сбоев, SPEAR обеспечивает надежную аналитику в реальном времени для IoT, промышленной автоматизации, умных городов и автономных систем в разнородных средах.

Автономные агенты — это open-source библиотека Python, предназначенная для упрощения создания автономных ИИ-агентов с использованием крупных языковых моделей. За счет абстракции ключевых компонентов, таких как восприятие, рассуждение и действия, она позволяет разработчикам определять собственные инструменты, памяти и стратегии. Агенты могут самостоятельно планировать многоэтапные задачи, выполнять запросы к внешним API, обрабатывать результаты с помощью собственных парсеров и сохранять контекст диалога. Фреймворк поддерживает динамический выбор инструментов, последовательное и параллельное выполнение задач, а также сохранение памяти, обеспечивая надежную автоматизацию задач, таких как анализ данных, исследования, суммирование писем и веб-скрапинг. Его расширяемый дизайн облегчает интеграцию с различными поставщиками LLM и пользовательскими модулями.

OLI (OpenAI Logic Interpreter) — это клиентский фреймворк, созданный для упрощения разработки ИИ-агентов в веб-приложениях с использованием API OpenAI. Разработчики могут определять собственные функции, которые OLI эффективно выбирает в зависимости от запросов пользователя, управлять контекстом диалога для поддержания согласованного состояния при нескольких взаимодействиях, а также связывать вызовы API для сложных рабочих процессов, таких как бронирование встреч или создание отчетов. Кроме того, OLI включает инструменты для разбора ответов, обработки ошибок и интеграции сторонних сервисов через вебхуки или REST-конечные точки. Поскольку он полностью модульный и с открытым исходным кодом, команды могут настраивать поведение агента, добавлять новые возможности и развертывать агенты OLI на любой веб-платформе без зависимостей серверной части. OLI ускоряет разработку диалоговых интерфейсов и автоматизацию.