Steel ist ein entwicklerzentriertes Framework, das die Erstellung und den Betrieb von LLM-gesteuerten Agenten in Produktionsumgebungen beschleunigt. Es bietet plattformunabhängige Konnektoren für große Modell-APIs, einen In-Memory- und persistenten Speicher, integrierte Tool-Aufrufmuster, automatische Antwort-Caches und detailliertes Tracing für Beobachtbarkeit. Entwickler können komplexe Agenten-Workflows definieren, benutzerdefinierte Tools (z.B. Suche, Datenbankabfragen und externe APIs) integrieren und Streaming-Ausgaben verwalten. Steel abstrahiert die Komplexität der Orchestrierung, sodass Teams sich auf die Geschäftslogik konzentrieren und schnell KI-gesteuerte Anwendungen iterieren können.

GAMA Genstar Plugin fügt der GAMA-Plattform generative KI-Fähigkeiten hinzu, indem es Konnektoren zu OpenAI, lokalen LLMs und benutzerdefinierten Model-Endpunkten bereitstellt. Benutzer definieren Eingabeaufforderungen und Pipelines in GAML, um Agentenentscheidungen, Umweltbeschreibungen oder Szenarienparameter flexibel zu generieren. Das Plugin unterstützt synchrone und asynchrone API-Aufrufe, Zwischenspeicherung von Antworten und Parameteranpassung. Es vereinfacht die Integration natürlicher Sprachmodelle in groß angelegte Simulationen und reduziert manuellen Skripting-Aufwand, um reichhaltigere und adaptive Agentenverhalten zu fördern.

LLMs bietet eine einheitliche Abstraktion für verschiedene Open-Source- und gehostete Sprachmodelle, sodass Entwickler Modelle über eine einzige Schnittstelle laden und ausführen können. Es unterstützt Modelldetektion, Prompt- und Pipeline-Management, Batch-Verarbeitung sowie fein abgestimmte Kontrolle über Tokens, Temperatur und Streaming. Nutzer können mühelos zwischen CPU- und GPU-Backends wechseln, lokale oder entfernte Modellhosts integrieren und Antworten für eine bessere Leistung zwischenspeichern. Das Framework enthält Hilfsmittel für Prompt-Templates, Antwort-Parsing und Benchmarking der Modellleistung. Durch die Entkopplung der Anwendungslogik von modell-spezifischen Implementierungen beschleunigt LLMs die Entwicklung von NLP-gestützten Anwendungen wie Chatbots, Textgenerierung, Zusammenfassung, Übersetzungen und mehr, ohne Anbieterbindung oder proprietäre APIs.