Sviluppatore / Token
Contatore di token: conta i token per i modelli OpenAI
Conta esattamente i token di qualsiasi testo come fanno i modelli OpenAI, con il tokenizer o200k_base usato da GPT-4o e dai modelli più recenti e cl100k_base usato da GPT-4 e GPT-3,5 Turbo. Visualizza anche caratteri, parole e caratteri per token, con ogni token evidenziato, senza inviare il testo da nessuna parte.
Contatore di token: conta i token per i modelli OpenAI: Il testo viene codificato nel tuo browser con js-tiktoken e i vocabolari byte-pair pubblicati da OpenAI, gli stessi usati dai modelli, quindi i conteggi corrispondono esattamente: "tiktoken is great!" corrisponde a sei token in cl100k_base. Ogni token viene mostrato come un elemento colorato, così puoi vedere che le parole comuni corrispondono a un solo token, mentre le parole rare, i numeri e i caratteri di altri alfabeti vengono suddivisi in più token. Funziona al 100% localmente nel browser, senza caricare file sul server.
- Categoria
- Strumenti per sviluppatori
- Esecuzioni
- Nel browser
- Costo
- Gratuito · senza registrazione
- Disponibilità
- Pronto all'uso
Funziona interamente nel browser
I conteggi sono esatti per i modelli OpenAI che usano queste codifiche e vengono calcolati nel tuo browser con js-tiktoken (MIT) e i vocabolari pubblicati da OpenAI; il tuo testo non viene inviato da nessuna parte. I modelli di altre aziende usano i propri tokenizzatori, quindi considera questi conteggi una stima: in inglese, un token corrisponde spesso a circa quattro caratteri.
Token e costi
I prezzi dei modelli sono calcolati per milione di token di input e output, quindi il conteggio dei token ti permette di stimare il costo di una richiesta; controlla il listino prezzi aggiornato del fornitore.
Regola pratica
In inglese, 100 token corrispondono a circa 75 parole, ovvero quattro caratteri per token; per altre lingue e per il codice di solito servono più token per parola.
Come usarlo
- Incolla il prompt o il testo.
- Scegli il tokenizer del tuo modello.
- Leggi il numero di token e osserva come è stato suddiviso il testo.
Privacy e limitazioni
Il testo viene tokenizzato nel tuo browser e non viene mai caricato.
Strumenti correlati
Domande frequenti
Conta i token per Claude, Gemini o Llama?
Non esattamente: ogni azienda usa il proprio tokenizer, quindi i conteggi per altri modelli possono differire sensibilmente. Usa il conteggio qui come stima approssimativa.
Perché il cinese o il giapponese usano più token?
I vocabolari apprendono gli elementi più comuni del testo usato per l'addestramento. o200k_base contiene più elementi non inglesi di cl100k_base, quindi lo stesso testo giapponese di solito richiede meno token con o200k_base.
Gli spazi e le interruzioni di riga vengono conteggiati?
Sì. Di solito uno spazio viene unito alla parola che lo segue e anche le interruzioni di riga sono token.
Strumento gratuito · nel browser esecuzioni · senza account