Sanctum est une application d'assistant AI à la pointe de la technologie conçue pour exécuter localement sur votre appareil Mac des modèles de langage à grande échelle (LLMs) open-source entièrement fonctionnels. Il donne la priorité à la confidentialité de l'utilisateur en utilisant un cryptage AES-256 pour sécuriser les données, y compris l'historique des discussions et les caches, garantissant qu'aucune donnée ne quitte votre appareil. Sanctum permet aux utilisateurs d'importer divers formats de documents tels que des PDF et des DOCX, leur permettant de poser des questions, d'obtenir des résumés et d'interagir avec l'AI de manière entièrement privée. Il est adapté à toute personne ayant besoin d'un assistant AI sécurisé et fiable pour un usage personnel ou professionnel.

GAMA Genstar Plugin ajoute des capacités d'IA générative à la plateforme GAMA via des connecteurs vers OpenAI, des LLM locaux, et des points de terminaison de modèles personnalisés. Les utilisateurs définissent des invites et des pipelines dans GAML pour générer des décisions d'agents, des descriptions d'environnement ou des paramètres de scénarios à la volée. Le plugin supporte les appels API synchrones et asynchrones, la mise en cache des réponses, et l'ajustement des paramètres. Il facilite l'intégration des modèles en langage naturel dans des simulations à grande échelle, réduisant la script manuelle et favorisant des comportements d'agents plus riches et adaptatifs.

Ollama Bot est un agent AI basé sur Node.js conçu pour fonctionner sur les serveurs Discord, utilisant la CLI Ollama et des modèles LLM locaux pour générer des réponses conversationnelles. Il établit un contexte de chat persistant, permettant aux utilisateurs de maintenir la continuité du sujet sur plusieurs messages. Les administrateurs peuvent définir des invites personnalisées, régler les paramètres du modèle et restreindre les commandes à des rôles spécifiques. Le bot supporte plusieurs modèles LLM, gère automatiquement les files d’attente de messages pour un débit élevé et enregistre les interactions à des fins d'audit. L'installation consiste à cloner le dépôt, installer les dépendances via npm et configurer des variables d'environnement telles que le jeton Discord et les paramètres d'Ollama. Une fois déployé, le bot écoute les commandes slash, transfère les requêtes au modèle Ollama et publie directement les réponses générées dans les canaux Discord.

echoOLlama exploite l'écosystème Ollama pour fournir un cadre d'agent minimal : il lit l'entrée utilisateur du terminal, l'envoie à un LLM local configuré, et diffuse les réponses en temps réel. Les utilisateurs peuvent script des séquences d'interactions, enchaîner des prompts, et expérimenter l'ingénierie des prompts sans modifier le code modèle sous-jacent. Cela rend echoOLlama idéal pour tester des schémas de conversation, construire des outils simples en ligne de commande, et gérer des tâches itératives tout en préservant la confidentialité des données.