ThinkThread는 개발자가 ChatGPT 기반 애플리케이션에 지속 가능한 메모리를 추가할 수 있게 합니다. 각 교환을 Sentence Transformers로 인코딩하고, 인기 벡터 저장소에 임베딩을 저장합니다. 사용자가 새 입력을 할 때마다 의미 검색을 수행하여 가장 관련성 높은 과거 메시지를 검색하고, 이를 컨텍스트로 주입합니다. 이 과정은 연속성을 보장하고, 프롬프트 엔지니어링의 노력을 줄이며, 장기적으로 사용자 선호, 거래 기록 또는 프로젝트 관련 정보를 기억하게 합니다.

UniChat는 다양한 AI 언어 모델 및 채팅 서비스와의 상호작용을 위한 통합 인터페이스로, 사용자가 하나의 데스크탑 애플리케이션에서 여러 제공업체와 대화할 수 있게 합니다. 온라인 API(예: OpenAI GPT-3, GPT-4, Claude, Google PaLM)와 로컬 모델(GPT4All 또는 LLaMA 등)을 통합하며, 대화 기록 저장, 채팅 로그 내보내기, 맞춤형 프롬프트 템플릿, 컨텍스트 파일 업로드, 테마 옵션 등 기능을 지원합니다. 플러그인 시스템을 통해 개발자와 커뮤니티는 새 기능, 커넥터 또는 UI 향상 기능을 추가할 수 있습니다. API 키를 중앙에서 관리하고, 로컬 모델의 오프라인 모드도 제공하여, 사용자에게 AI 상호작용, 프라이버시, 비용에 대한 완전한 제어권을 부여합니다.

Ollama Bot은 Node.js 기반의 AI 에이전트로서, Discord 서버에서 작동하며 Ollama CLI와 로컬 LLM 모델을 활용하여 대화형 응답을 생성합니다. 지속적인 채팅 컨텍스트를 구축하여 사용자가 여러 메시지에 걸쳐 주제 연속성을 유지할 수 있습니다. 관리자들은 커스텀 프롬프트를 정의하고, 모델 매개변수를 설정하며, 특정 역할에 명령을 제한할 수 있습니다. 이 봇은 여러 LLM 모델을 지원하고, 높은 처리량을 위해 메시지 큐를 자동으로 관리하며, 상호작용을 기록하여 감사를 지원합니다. 설치는 저장소를 클론하고, npm을 통해 의존성을 설치하며, 디스코드 토큰과 Ollama 설정 등 환경 변수를 구성하는 과정을 포함합니다. 배포 후, 봇은 슬래시 명령을 수신하고, 쿼리를 Ollama 모델에 전달하여 생성된 답변을 디스코드 채널에 바로 게시합니다.