Développeur / Jetons
Compteur de tokens : comptez les tokens des modèles OpenAI
Comptez exactement les tokens de n’importe quel texte comme le font les modèles d’OpenAI, avec le tokeniseur o200k_base utilisé par GPT-4o et les versions ultérieures, et cl100k_base utilisé par GPT-4 et GPT-3.5 Turbo. Affichez aussi le nombre de caractères,`
Compteur de tokens : comptez les tokens des modèles OpenAI: Le texte est encodé dans votre navigateur avec js-tiktoken et les vocabulaires publiés de paires d’octets d’OpenAI, les mêmes que ceux utilisés par les modèles. Les comptes correspondent donc exactement : "tiktoken is great!" représente six tokens avec cl100k_base. Chaque token apparaît sous forme de morceau coloré : vous pouvez ainsi voir que les mots courants constituent un seul token, tandis que les mots rares, les nombres et les autres systèmes d’écriture sont découpés en plusieurs tokens. Fonctionne 100 % localement dans votre navigateur, sans aucun téléversement de fichier vers le serveur.
- Catégorie
- Outils développeur
- Exécutions
- Dans votre navigateur
- Coût
- Gratuit · sans inscription
- Disponibilité
- Prêt à l'emploi
Fonctionne entièrement dans votre navigateur
Les décomptes sont exacts pour les modèles OpenAI qui utilisent ces encodages. Ils sont calculés dans votre navigateur avec js-tiktoken (MIT) et les vocabulaires publiés par OpenAI ; votre texte n'est envoyé nulle part. Les modèles d'autres entreprises utilisent leurs propres tokeniseurs : considérez donc ces décomptes comme des estimations pour ces modèles. En anglais, un token correspond souvent à environ quatre caractères.
Tokens et coût
Les tarifs des modèles sont calculés par million de tokens d’entrée et de sortie. Le nombre de tokens permet donc d’estimer le coût d’une requête ; consultez la grille tarifaire actuelle du fournisseur.
Règle générale
En anglais, 100 tokens correspondent à environ 75 mots, soit quatre caractères par token ; les autres langues et le code nécessitent généralement davantage de tokens par mot.
Comment l'utiliser
- Collez votre prompt ou votre texte.
- Choisissez le tokeniseur correspondant à votre modèle.
- Consultez le nombre de tokens et observez comment le texte a été découpé.
Confidentialité et limitations
Votre texte est tokenisé dans votre navigateur et n’est jamais envoyé.
Outils associés
Questions fréquentes
Le compteur fonctionne-t-il pour Claude, Gemini ou Llama ?
Pas exactement : chaque entreprise utilise son propre tokeniseur, et les comptes peuvent donc différer sensiblement pour les autres modèles. Utilisez le résultat comme une estimation approximative pour ces modèles.
Pourquoi le chinois ou le japonais utilisent-ils plus de tokens ?
Les vocabulaires apprennent les fragments les plus courants de leur texte d’entraînement. o200k_base contient davantage de fragments non anglophones que cl100k_base ; un même texte japonais nécessite donc généralement moins de tokens avec ce tokeniseur.
Les espaces et les sauts de ligne sont-ils comptés ?
Oui. Un espace est généralement rattaché au mot qui le suit, et les sauts de ligne sont eux aussi des tokens.
Outil gratuit · dans votre navigateur exécutions · aucun compte requis