AgentGateway bietet eine entwicklerorientierte Umgebung zur Erstellung von Multi-Agenten-KI-Anwendungen. Es unterstützt verteilte Agenten-Orchestrierung, Plugin-Integration und sichere Zugriffskontrolle. Mit integrierten Konnektoren für Vektordatenbanken, REST/gRPC-APIs und gängige Dienste wie Slack und Notion können Agenten Dokumente abfragen, Geschäftslogik ausführen und autonom Antworten generieren. Die Plattform umfasst Überwachung, Protokollierung und rollenbasierte Zugriffskontrollen, was die Bereitstellung skalierbarer, auditierbarer KI-Lösungen in Unternehmen erleichtert.

Functionary bietet eine deklarative Möglichkeit, benutzerdefinierte Werkzeuge zu registrieren – JavaScript-Funktionen, die API-Aufrufe, Datenbankabfragen oder Geschäftslogik kapseln. Es umschließt die Interaktion mit LLMs, um Nutzeraufforderungen zu analysieren, zu bestimmen, welche Werkzeuge ausgeführt werden sollen, und die Ausgaben der Werkzeuge zurück in dialogische Antworten zu parsen. Das Framework unterstützt Speicher, Fehlerbehandlung und Verkettung von Aktionen und bietet Hooks für Vor- und Nachverarbeitung. Entwickler können schnell Agents erstellen, die in der Lage sind, dynamische Funktionsorchestrierungen ohne Boilerplate-Code durchzuführen, um die Kontrolle über KI-gesteuerte Workflows zu verbessern.

LLM Functions bietet ein einfaches Framework, um große Sprachmodellantworten mit tatsächlicher Codeausführung zu verbinden. Sie definieren Funktionen über JSON-Schemas, registrieren sie bei der Bibliothek, und das LLM gibt strukturierte Funktionsaufrufe zurück, wenn dies angemessen ist. Die Bibliothek parst diese Antworten, validiert die Parameter und ruft den richtigen Handler auf. Sie unterstützt synchrone und asynchrone Callbacks, benutzerdefinierte Fehlerbehandlung und Plugin-Erweiterungen, was sie ideal für Anwendungen macht, die dynamische Datenabfragen, externe API-Aufrufe oder komplexe Geschäftslogik innerhalb KI-gesteuerter Gespräche erfordern.