Chat-With-CUHKSZ предоставляет упрощённую платформу для создания специализированного чатбота на основе базы знаний CUHKSZ. После клонирования репозитория пользователи настраивают свои учетные данные API OpenAI и указывают источники документов, такие как PDFs кампуса, веб-страницы и научные статьи. Инструмент использует LlamaIndex для предварительной обработки и индексации документов, создавая эффективное векторное хранилище. LangChain управляет извлечением информации и подсказками, доставляя релевантные ответы в диалоговом интерфейсе. Архитектура поддерживает добавление пользовательских документов, настройку стратегий подсказок и развертывание через Streamlit или Python-сервер. Также доступны опциональные улучшения семантического поиска, ведение журналов запросов для аудита и возможность расширения на другие университеты с минимальной настройкой.

LlamaIndex — это ориентированная на разработчиков библиотека на Python, предназначенная для объединения больших языковых моделей с частными или предметными данными. Она предлагает несколько типов индексов — такие как векторные, древовидные и ключевые индексы — а также адаптеры для баз данных, файловых систем и веб-API. Фреймворк включает инструменты для разбиения документов на узлы, вставки их с помощью популярных моделей вставки и выполнения умного поиска для предоставления контекста LLM. Благодаря встроенному кешированию, схемам запросов и управлению узлами, LlamaIndex упрощает создание генерации с дополнением поиска, обеспечивая очень точные, насыщенные контекстом ответы в таких приложениях, как чат-боты, QA-службы и аналитические каналы.

Agentic Shared Memory — это надёжное решение для управления контекстными данными в системах с несколькими агентами, управляемых ИИ. Используя векторные встраивания и эффективные структуры данных, он хранит наблюдения, решения и переходы состояния агентов, обеспечивая беспрепятственный доступ и обновление контекста. Агенты могут запрашивать совместную память для доступа к прошлым взаимодействиям или глобальному знанию, способствуя согласованному поведению и совместной работе по решению проблем. Библиотека поддерживает быстрые интеграции с популярными фреймворками ИИ, такими как LangChain или пользовательские организаторы агентов, предлагая настраиваемые стратегии хранения, окна контекста и функции поиска. Скрывая управление памятью, разработчики могут сосредоточиться на логике агента, одновременно обеспечивая масштабируемое и последовательное управление памятью в распределённых или централизованных системах. Это повышает общую производительность системы, снижает избыточные вычисления и усиливает интеллект агентов со временем.