Agent TARS utilise une combinaison de techniques avancées de vision par ordinateur et de traitement du langage naturel pour comprendre et manipuler les interfaces graphiques utilisateur. En capturant des représentations visuelles des pages web, TARS peut identifier des boutons, formulaires, tableaux et autres éléments de la page. Les utilisateurs interagissent avec TARS par le biais de commandes en langage naturel, lui demandant de cliquer, faire défiler, extraire du texte ou remplir des formulaires sur plusieurs pages. Il prend en charge des workflows personnalisables qui enchaînent des tâches — telles que la connexion à des comptes, la collecte de données et l’exportation des résultats en CSV ou JSON. Avec une prise en charge en mode sans tête (headless) et avec interface (headful), TARS permet à la fois l’exploration interactive et l’automatisation non supervisée, ce qui le rend idéal pour les tests, l'acquisition de données et les opérations routinières basées sur le navigateur.

Web-Agent est une bibliothèque Node.js conçue pour transformer les instructions en langage naturel en opérations du navigateur. Il s'intègre avec des fournisseurs LLM populaires (OpenAI, Anthropic, etc.) et contrôle des navigateurs headless ou affichés pour effectuer des actions telles que scrapper des pages, cliquer sur des boutons, remplir des formulaires, naviguer dans des workflows à plusieurs étapes et exporter les résultats. Les développeurs peuvent définir le comportement de l'agent en code ou JSON, l'étendre via des plugins et chaîner des tâches pour construire des flux d'automatisation complexes. Cela simplifie les tâches web fastidieuses, les tests et la collecte de données en permettant à l'IA de les interpréter et de les exécuter.