Desenvolvedor / Tokens
Contador de tokens: conte tokens para modelos da OpenAI
Conte os tokens de qualquer texto exatamente como os modelos da OpenAI fazem, usando o tokenizador o200k_base do GPT-4o e de versões mais recentes e o cl100k_base do GPT-4 e do GPT-3.5 Turbo. Veja também caracteres, palavras e caracteres por token, além de cada token destacado — tudo sem enviar seu texto para lugar algum.
Contador de tokens: conte tokens para modelos da OpenAI: O texto é codificado no seu navegador com js-tiktoken e os vocabulários publicados de pares de bytes da OpenAI — os mesmos usados pelos modelos —, portanto as contagens coincidem exatamente: "tiktoken is great!" tem seis tokens em cl100k_base. Cada token é exibido como um trecho colorido, para você ver que palavras comuns formam um token, enquanto palavras raras, números e outros sistemas de escrita são divididos em vários. Roda 100% localmente no seu navegador, sem enviar nenhum arquivo para o servidor.
- Categoria
- Ferramentas para desenvolvedores
- Execuções
- No seu navegador
- Custo
- Grátis · sem cadastro
- Disponibilidade
- Pronto para usar
Roda inteiramente no seu navegador
As contagens são exatas para os modelos da OpenAI que usam essas codificações, calculadas no seu navegador com js-tiktoken (MIT) e os vocabulários publicados pela OpenAI; seu texto não é enviado para lugar nenhum. Os modelos de outras empresas usam seus próprios tokenizadores, portanto considere estas contagens uma estimativa para eles: em inglês, um token costuma ter cerca de quatro caracteres.
Tokens e custo
Os preços dos modelos são cobrados por milhão de tokens de entrada e saída, então a contagem de tokens permite estimar o custo de uma solicitação; consulte a lista de preços atual do provedor.
Regra geral
Em inglês, 100 tokens correspondem a cerca de 75 palavras, ou quatro caracteres por token; outros idiomas e códigos geralmente precisam de mais tokens por palavra.
Como usar
- Cole seu prompt ou texto.
- Escolha o tokenizador do seu modelo.
- Veja a contagem de tokens e como o texto foi dividido.
Privacidade e limitações
Seu texto é tokenizado no navegador e nunca é enviado.
Ferramentas relacionadas
Perguntas frequentes
Isso conta tokens para Claude, Gemini ou Llama?
Não exatamente: cada empresa usa seu próprio tokenizador, então as contagens de outros modelos podem variar consideravelmente. Use a contagem daqui como uma estimativa aproximada para eles.
Por que textos em chinês ou japonês usam mais tokens?
Os vocabulários aprendem os trechos mais comuns do texto usado no treinamento. O o200k_base tem mais trechos em idiomas diferentes do inglês do que o cl100k_base, então o mesmo texto em japonês geralmente usa menos tokens com ele.
Espaços e quebras de linha contam?
Sim. Em geral, um espaço é associado à palavra que vem depois dele, e as quebras de linha também são tokens.
Ferramenta grátis · no seu navegador execuções · não precisa de conta