Un token est une unité de texte que traite un LLM. Cela peut être un mot, une partie d'un mot, ou même un caractère unique.

Les LLM divisent le texte en tokens pour traiter le langage de manière plus efficace et flexible, permettant aux modèles de gérer plusieurs langues et de maintenir des formats d'entrée cohérents.

Le comptage de tokens aide à gérer les coûts API, à estimer le temps de traitement et à s'assurer que les entrées ne dépassent pas les limites des modèles.

Pour les modèles OpenAI, une grande précision est garantie grâce à la bibliothèque tiktoken. Pour les modèles Anthropic, une méthode plus ancienne est actuellement utilisée.

Oui, l'outil prend en charge plusieurs langues, bien que l'interface soit en anglais.

L'outil prend en charge le comptage de tokens pour les modèles d'OpenAI et d'Anthropic.

Les caractères spéciaux et les emojis sont traités selon la méthode de tokenisation de chaque modèle.

Oui, l'outil offre un comptage de tokens en temps réel au fur et à mesure que vous tapez ou collez du texte.

Actuellement, aucune longueur d'entrée maximale n'est définie. Les utilisateurs sont encouragés à donner leur avis s'ils rencontrent des problèmes.

L'outil suit la méthode de tokenisation de chaque LLM, qui peut ne pas correspondre aux frontières linguistiques conventionnelles.