Google Gemma – это коллекция легковесных, передовых моделей ИИ, разработанных для удовлетворения широкого спектра приложений. Эти открытые модели сконструированы с использованием последних технологий для обеспечения оптимальной производительности и эффективности. Созданные для разработчиков, исследователей и бизнеса, модели Gemma могут быть легко интегрированы в приложения для улучшения функциональности в таких областях, как генерация текста, резюмирование и анализ настроений. С доступными гибкими вариантами развертывания на таких платформах, как Vertex AI и GKE, Gemma обеспечивает бесшовный опыт для пользователей, ищущих надежные ИИ-решения.

Локальный LLM с вызовами функций позволяет разработчикам создавать AI-агентов, которые полностью работают на локальном оборудовании, устраняя проблемы конфиденциальности данных и зависимости от облака. В рамках приводится пример кода для интеграции локальных LLM, таких как LLaMA, GPT4All или другие модели с открытым весом, и показывается, как настраивать схемы функций, которые модель может вызывать для выполнения таких задач, как получение данных, выполнение shell-команд или взаимодействие с API. Пользователи могут расширять дизайн, определяя собственные конечные точки функций, настраивая подсказки и обрабатывая ответы функций. Это лёгкое решение упрощает создание оффлайн-ассистентов, чатботов и инструментов автоматизации для различных приложений.

TinyAuton предлагает минимальную и расширяемую архитектуру для создания автономных агентов, которые планируют, выполняют и совершенствуют задачи с помощью моделей GPT от OpenAI. В нее встроены модули для определения целей, управления контекстом диалога, вызова пользовательских инструментов и логирования решений. Итеративные циклы саморефлексии позволяют агенту анализировать результаты, корректировать планы и повторять неудачные шаги. Разработчики могут интегрировать внешние API или локальные скрипты как инструменты, настраивать память или состояние и кастомизировать цепочку рассуждений. TinyAuton оптимизирован для быстрого прототипирования рабочих процессов на базе ИИ, от извлечения данных до генерации кода — все за несколько строк Python.