Memonto fonctionne comme une bibliothèque intermédiaire pour les agents IA, orchestrant tout le cycle de vie de la mémoire. Lors de chaque tour de conversation, il enregistre les messages utilisateur et IA, distille les détails importants et crée des résumés concis. Ces résumés sont convertis en embeddings et stockés dans des bases de données vectorielles ou des systèmes de fichiers. Lors de la création de nouveaux prompts, Memonto effectue des recherches sémantiques pour récupérer les souvenirs historiques les plus pertinents, permettant aux agents de maintenir le contexte, de se souvenir des préférences de l'utilisateur et de fournir des réponses personnalisées. Il supporte plusieurs backends de stockage (SQLite, FAISS, Redis) et offre des pipelines configurables pour l'intégration de l'embedding, du résumé et de la récupération. Les développeurs peuvent intégrer Memonto de manière transparente dans des frameworks d'agents existants, renforçant ainsi la cohérence et l'engagement à long terme.

Memor offre un sous-système de mémoire pour les agents de modèles linguistiques, leur permettant de stocker des embeddings d’événements passés, préférences utilisateur et données contextuelles dans des bases de données vectorielles. Elle supporte plusieurs backends tels que FAISS, ElasticSearch et les stockages en mémoire. Grâce à la recherche par similarité sémantique, les agents peuvent récupérer des mémoires pertinentes basées sur des embeddings de requête et des filtres métadonnées. Les pipelines de mémoire personnalisables de Memor incluent le découpage, l’indexation et les politiques d’éviction, assurant une gestion du contexte à long terme et évolutive. Intégrez-la dans le flux de travail de votre agent pour enrichir ses prompts avec un contexte historique dynamique et améliorer la pertinence des réponses lors de multiples sessions.

NeuralGPT vise à simplifier le développement d'agents d'IA en offrant des composants modulaires et des pipelines standardisés. Au cœur, il propose des classes d'agents personnalisables, la génération augmentée par récupération (RAG) et des couches de mémoire pour maintenir le contexte conversationnel. Les développeurs peuvent intégrer des bases de données vectorielles (par exemple, Chroma, Pinecone, Qdrant) pour la recherche sémantique et définir des agents outils pour exécuter des commandes externes ou des appels API. Le framework supporte plusieurs backends LLM tels que OpenAI, Hugging Face et Azure OpenAI. NeuralGPT inclut une CLI pour un prototypage rapide et un SDK Python pour le contrôle programmatique. Avec une journalisation intégrée, une gestion des erreurs et une architecture extensible de plugins, il accélère le déploiement d'assistants intelligents, de chatbots et de workflows automatisés.

ChainStream est un cadre d'inférence multiplateforme pour mobiles et ordinateurs qui diffuse en temps réel des sorties partielles des grands modèles linguistiques. Il divise l'inférence LLM en chaînes de sous-modèles, permettant une livraison incrémentielle de tokens et réduisant la latence perçue. Les développeurs peuvent intégrer ChainStream dans leurs applications via une API C++ simple, choisir des backends préférés comme ONNX Runtime ou TFLite, et personnaliser les étapes du pipeline. Fonctionne sur Android, iOS, Windows, Linux et macOS, permettant une véritable chat, traduction ou fonctionnalités d'assistance pilotées par l'IA directement sur l’appareil, sans dépendance serveur.