mini-AlphaStar démystifie l'architecture complexe d'AlphaStar en proposant un cadre PyTorch accessible et Open Source pour le développement d'IA dans StarCraft II. Il comprend des encodeurs de caractéristiques spatiales pour les entrées écran et minimap, un traitement des caractéristiques non spatiales, des modules de mémoire LSTM, et des réseaux de politique et de valeur séparés pour la sélection d'actions et l'évaluation d'état. En utilisant l'apprentissage par imitation pour démarrer et l'apprentissage par renforcement avec auto-jeu pour l'affinage, il supporte les wrappers d'environnement compatibles avec pysc2, la journalisation via TensorBoard et des hyperparamètres configurables. Les chercheurs et étudiants peuvent générer des jeux de données à partir de parties humaines, entraîner des modèles sur des scénarios personnalisés, évaluer la performance des agents et visualiser les courbes d'apprentissage. La base de code modulaire facilite l'expérimentation avec différentes variantes de réseaux, programmes d'entraînement et configurations multi-agents. Conçu pour l'éducation et le prototypage, et non pour le déploiement en production.

LLaVA-Plus s'appuie sur des bases vision-langage de pointe pour fournir un agent capable d'interpréter et de raisonner sur plusieurs images simultanément. Il intègre l'apprentissage par assemblage et la planification vision-langage pour réaliser des tâches complexes telles que la réponse à des questions visuelles, la résolution de problèmes étape par étape et les workflows d'inférence multi-étapes. Le cadre offre une architecture de plugin modulaire pour se connecter à divers backends LLM, permettant des stratégies d'invite personnalisées et des explications dynamiques en chaîne de pensée. Les utilisateurs peuvent déployer LLaVA-Plus localement ou via la démo web hébergée, en téléchargeant une ou plusieurs images, en posant des requêtes en langage naturel et en recevant des réponses explicatives riches avec des étapes de planification. Sa conception extensible supporte le prototypage rapide d'applications multimodales, en faisant une plateforme idéale pour la recherche, l'éducation et les solutions vision-langage pour la production.