Text-to-Reward fournit une pipeline pour entraîner des modèles de récompense qui transforment des descriptions de tâches basées sur du texte ou des retours en valeurs de récompense scalaires pour les agents RL. En utilisant des architectures basées sur Transformer et un fine-tuning sur des données de préférences humaines, le cadre apprend automatiquement à interpréter les instructions en langage naturel comme signaux de récompense. Les utilisateurs peuvent définir des tâches arbitraires via des invites textuelles, entraîner le modèle, puis incorporer la fonction de récompense apprise dans n'importe quel algorithme RL. Cette approche élimine le façonnage manuel des récompenses, augmente l'efficacité des échantillons et permet aux agents de suivre des instructions complexes en plusieurs étapes dans des environnements simulés ou réels.
Fonctionnalités principales de Text-to-Reward
Modélisation de récompense conditionnée par le langage naturel
Architecture Transformer
Entraînement sur des données de préférence humaine
Intégration facile avec OpenAI Gym
Fonction de récompense exportable pour tout algorithme RL
Avantages et inconvénients de Text-to-Reward
Inconvénients
Avantages
Automatise la génération de fonctions de récompense denses sans besoin de connaissances de domaine ou de données
Utilise de grands modèles de langage pour interpréter des objectifs en langage naturel
Prend en charge le raffinement itératif avec retour humain
Atteint des performances comparables ou supérieures aux récompenses conçues par des experts sur des benchmarks
Permet le déploiement réel de politiques entraînées en simulation
Génération de code de récompense interprétable et libre