LlamaIndex는 대규모 언어 모델과 프라이빗 또는 도메인 특정 데이터를 연결하기 위해 설계된 Python 기반 개발자 중심 라이브러리입니다. 벡터, 트리, 키워드 인덱스 등 여러 인덱스 타입과 데이터베이스, 파일 시스템, 웹 API에 대한 어댑터를 제공합니다. 문서를 노드로 분할하고, 인기 있는 임베딩 모델로 노드를 임베딩하며, 스마트 검색을 수행하여 LLM에 컨텍스트를 제공합니다. 내장 캐싱, 쿼리 스키마, 노드 관리 기능으로 검색 보강 생성 구축을 간소화하여, 채팅봇, QA 서비스, 분석 파이프라인 등에 정밀하고 풍부한 컨텍스트 기반 응답을 가능하게 합니다.

Agentic Shared Memory는 AI 기반 멀티 에이전트 환경에서 컨텍스트 데이터를 관리하기 위한 강력한 솔루션을 제공합니다. 벡터 임베딩과 효율적인 데이터 구조를 활용하여 에이전트의 관찰, 결정 및 상태 전이를 저장하며, 원활한 컨텍스트 검색과 업데이트를 가능하게 합니다. 에이전트는 공유 메모리를 조회하여 과거 상호작용이나 글로벌 지식을 접근할 수 있으며, 일관된 행동과 협력 문제 해결을 촉진합니다. 이 라이브러리는 LangChain과 같은 인기 AI 프레임워크 또는 맞춤형 에이전트 오케스트레이터와의 플러그 앤 플레이 통합을 지원하며, 사용자 정의 유지 정책, 컨텍스트 윈도우 크기, 검색 기능을 제공합니다. 메모리 관리를 추상화하여 개발자는 에이전트 로직에 집중하면서 분산 또는 중앙 집중 배포 환경에서도 확장 가능하고 일관된 메모리 처리를 보장할 수 있습니다. 이는 시스템 전체 성능 향상, 중복 계산 감소, 에이전트 지능 향상에 기여합니다.

Chat-With-CUHKSZ는 CUHKSZ 지식 베이스에 기반한 도메인 특화 챗봇을 쉽게 구축할 수 있는 파이프라인을 제공합니다. 리포지토리를 클론한 후, 사용자들은 OpenAI API 자격 증명을 구성하고, 캠퍼스 PDF, 웹 페이지, 연구 논문 등의 문서 소스를 지정합니다. LlamaIndex는 문서 전처리와 인덱싱을 통해 효율적인 벡터 저장소를 만듭니다. LangChain은 검색과 프롬프트를 조율하여 대화형 인터페이스 내에서 관련 답변을 제공합니다. 이 아키텍처는 사용자 정의 문서 추가, 프롬프트 전략 조정, Streamlit 또는 파이썬 서버로 배포하는 것도 지원하며, 선택적 의미 검색 기능, 쿼리 로그 기록, 다른 대학으로의 확장도 최소한의 설정으로 가능합니다.