LlamaIndex ist eine entwicklerorientierte Python-Bibliothek, die die Kluft zwischen großen Sprachmodellen und privaten oder domänenspezifischen Daten überbrückt. Sie bietet verschiedene Indexarten—wie Vektor-, Baum- und Schlüsselwortindizes—sowie Adapter für Datenbanken, Dateisysteme und Web-APIs. Das Framework beinhaltet Werkzeuge zum Aufteilen von Dokumenten in Knoten, Einbetten dieser Knoten mittels populärer Einbettungsmodelle und intelligentes Retrieval, um Kontext für ein LLM bereitzustellen. Mit eingebautem Caching, Abfrageschemata und Knotverwaltung vereinfacht LlamaIndex den Aufbau retrieval-augmented generierter Anwendungen, die hochpräzise, kontextreiche Antworten liefern, beispielsweise in Chatbots, QA-Diensten und Analytik-Pipelines.

Agentic Shared Memory bietet eine robuste Lösung für die Verwaltung von Kontextdaten in KI-gesteuerten Multi-Agenten-Umgebungen. Durch die Nutzung von Vektor-Embeddings und effizienten Datenstrukturen speichert es Beobachtungen, Entscheidungen und Zustandsübergänge der Agenten und ermöglicht nahtlosen Zugriff und Aktualisierung des Kontexts. Agenten können die geteilte Speicher verwenden, um vergangene Interaktionen oder globales Wissen abzurufen, was kohärentes Verhalten und kollaborative Problemlösung fördert. Die Bibliothek unterstützt einfache Integration mit beliebten KI-Frameworks wie LangChain oder benutzerdefinierten Orchestratoren, bietet anpassbare Retentionsstrategien, Kontextfenster und Suchfunktionen. Durch die Abstraktion des Speichermanagements können Entwickler sich auf die Agenten-Logik konzentrieren und gleichzeitig eine skalierbare, konsistente Speicherverwaltung in verteilten oder zentralisierten Umgebungen sicherstellen. Das verbessert die Systemleistung insgesamt, reduziert redundante Berechnungen und erhöht die Intelligenz der Agenten im Laufe der Zeit.

Chat-With-CUHKSZ bietet eine optimierte Pipeline zum Aufbau eines domänenspezifischen Chatbots auf Basis der CUHKSZ-Wissensdatenbank. Nach Klonen des Repositories konfigurieren Nutzer ihre OpenAI-API-Anmeldedaten und geben Dokumentquellen wie Campus-PDFs, Webseiten und Forschungsarbeiten an. Das Tool nutzt LlamaIndex, um Dokumente vorzuverarbeiten und zu indexieren, wodurch ein effizienter Vektor-Speicher entsteht. LangChain orchestriert die Retrieval- und Prompt-Mechanismen und liefert relevante Antworten in einer Konversationsschnittstelle. Die Architektur unterstützt das Hinzufügen benutzerdefinierter Dokumente, die Feinabstimmung der Prompt-Strategien und die Bereitstellung via Streamlit oder einem Python-Server. Optional sind semantische Suchverbesserungen integriert, die Protokollierung von Anfragen für Auditing ist möglich, und es kann mit minimaler Konfiguration auf andere Universitäten erweitert werden.