Graphium은 구조화된 데이터 수집, 의미 임베딩 생성, 하이브리드 검색을 지원하는 지식 그래프 및 LLM 오케스트레이션 프레임워크입니다. 인기 있는 LLM, 그래프 데이터베이스, 벡터 저장소와 통합되어 해석 가능하고 그래프 기반 AI 에이전트를 실현합니다. 사용자는 그래프 구조를 시각화하고, 관계를 질의하며, 다중 홉 추론을 사용할 수 있습니다. RESTful API, SDK, 웹 UI를 제공하여 파이프라인 관리, 쿼리 모니터링, 프롬프트 맞춤화를 가능하게 하여 기업의 지식 관리 및 연구 애플리케이션에 적합합니다.

CartographAI의 Sherpa는 지능형 어시스턴트와 자동화 워크플로우 생성을 간소화하는 Python 기반 에이전트 프레임워크입니다. 이는 개발자가 사용자 입력을 해석하고, 적절한 LLM 엔드포인트 또는 외부 API를 선택하며, 문서 요약, 데이터 검색, 대화형 Q&A와 같은 복잡한 작업을 조율하는 에이전트를 정의할 수 있게 합니다. 플러그인 아키텍처를 통해 맞춤형 도구, 메모리 저장소, 라우팅 전략을 쉽게 통합하여 응답 관련성과 비용을 최적화할 수 있습니다. 사용자는 의미 검색, 텍스트 분석 또는 코드 생성과 같은 각 모듈이 고유한 기능을 수행하는 다중 단계 파이프라인을 구성할 수 있으며, Sherpa는 컨텍스트 전달과 폴백 로직을 관리합니다. 이 모듈식 접근 방식은 프로토타입 개발을 가속화하고 유지보수성을 높이며, 다양한 응용 분야를 위한 확장 가능한 AI 기반 솔루션 구축을 지원합니다.

Clinical Agent는 검색 증강 생성과 벡터 검색의 힘을 결합하여 임상 작업을 간소화하도록 설계되었습니다. 전자 건강 기록 데이터를 수집하여 벡터 데이터베이스로 문서를 인덱싱하고 LLM을 사용하여 임상 질문에 답변하고 퇴원 요약을 생성하며 구조화된 노트를 만듭니다. 개발자는 프롬프트를 커스터마이징하고, 추가 데이터 소스를 통합하며, 모듈을 확장할 수 있습니다. 이 프레임워크는 데이터 수집, 의미 검색, 질문 답변, 요약을 위한 모듈형 파이프라인을 지원하여 병원과 연구팀이 빠르게 AI 기반 임상 보조 도구를 배포할 수 있게 합니다.

Pi Web Agent는 웹에서 AI 채팅 에이전트를 구축하기 위한 가볍고 확장 가능한 프레임워크입니다. 백엔드는 Python FastAPI, 프론트엔드는 React를 사용하여 OpenAI, Cohere 또는 로컬 LLM으로 구동되는 인터랙티브한 대화를 제공합니다. 사용자는 문서를 업로드하거나 외부 데이터베이스를 연결하여 벡터 저장소를 통한 의미 검색을 수행할 수 있습니다. 플러그인 아키텍처는 맞춤형 도구, 함수 호출, 타사 API와의 로컬 통합을 허용하며, 전체 소스 코드 접근, 역할 기반 프롬프트 템플릿, 구성 가능한 메모리 저장소를 제공하여 맞춤형 AI 도우미를 만들 수 있습니다.

Rags는 검색 증강 생성 애플리케이션을 구축하기 위한 모듈형 파이프라인을 제공합니다. FAISS, Pinecone 등 인기 벡터 저장소와 통합하며, 설정 가능한 프롬프트 템플릿과 대화 맥락 유지를 위한 메모리 모듈을 갖추고 있습니다. 개발자는 Llama-2, GPT-4, Claude2 같은 LLM 제공자를 통합 API를 통해 선택적으로 전환할 수 있습니다. Rags는 스트리밍 응답, 사용자 지정 전처리, 평가 훅을 지원하며, 확장 가능한 설계 덕분에 프로덕션 서비스에 원활히 통합 가능하며, 자동 문서 수집, 의미 검색, 대규모 텍스트 생성 작업에 적합합니다.