Um token é uma unidade de texto que um LLM processa. Pode ser uma palavra, parte de uma palavra ou até mesmo um único caractere.

Os LLMs dividem o texto em tokens para processar a linguagem de maneira mais eficiente e flexível, permitindo que os modelos manipulem vários idiomas e mantenham formatos de entrada consistentes.

A contagem de tokens ajuda a gerenciar os custos da API, estimar o tempo de processamento e garantir que as entradas não excedam os limites do modelo.

Para modelos da OpenAI, é garantida alta precisão usando a biblioteca tiktoken. Para modelos da Anthropic, um método mais antigo está atualmente em uso.

Sim, a ferramenta suporta vários idiomas, embora a interface esteja em inglês.

A ferramenta suporta contagem de tokens para modelos da OpenAI e da Anthropic.

Caracteres especiais e emojis são processados de acordo com o método de tokenização de cada modelo.

Sim, a ferramenta oferece contagem de tokens em tempo real enquanto você digita ou cola texto.

Atualmente, não há comprimento máximo de entrada definido. Os usuários são incentivados a fornecer feedback se encontrarem problemas.

A ferramenta segue o método de tokenização de cada LLM, que pode não alinhar-se com as fronteiras linguísticas convencionais.