Razvoj / Tokeni
Brojač tokena: prebrojte tokene za OpenAI modele
Prebrojte tokene u bilo kom tekstu tačno onako kako to rade OpenAI modeli, uz tokenizer o200k_base koji koriste GPT-4o i noviji modeli i cl100k_base koji koriste GPT-4 i GPT-3.5 Turbo. Pogledajte i broj karaktera, reči, karaktera po tokenu i svaki istaknuti token — bez slanja teksta bilo gde.
Brojač tokena: prebrojte tokene za OpenAI modele: Tekst se kodira u vašem pregledaču pomoću biblioteke js-tiktoken i OpenAI rečnika parova bajtova, koje koriste i sami modeli, pa se brojevi potpuno podudaraju: "tiktoken is great!" ima šest tokena u tokenizeru cl100k_base. Svaki token je prikazan kao obojeni deo, pa možete da vidite da su česte reči jedan token, dok se retke reči, brojevi i druga pisma dele na nekoliko tokena. Radi 100% lokalno u vašem pregledaču, bez otpremanja datoteka na server.
- Kategorija
- Alatke za programere
- Pokretanja
- U vašem pregledaču
- Trošak
- Besplatno · bez registracije
- Dostupnost
- Spremno za upotrebu
U potpunosti radi u vašem pregledaču
Brojanje je precizno za OpenAI modele koji koriste ova kodiranja i obavlja se u vašem pregledaču pomoću biblioteke js-tiktoken (MIT) i javno objavljenih OpenAI rečnika; vaš tekst se nigde ne šalje. Modeli drugih kompanija koriste sopstvene tokenizere, zato ove brojeve za njih shvatite kao procenu: u engleskom jeziku token često ima oko četiri znaka.
Tokeni i cena
Cene modela navode se po milionu ulaznih i izlaznih tokena, pa vam broj tokena omogućava da procenite cenu zahteva; proverite aktuelni cenovnik provajdera.
Grubo pravilo
U engleskom jeziku, 100 tokena je oko 75 reči, odnosno četiri znaka po tokenu; drugim jezicima i kodu obično je potrebno više tokena po reči.
Kako se koristi
- Nalepite prompt ili tekst.
- Izaberite tokenizer za svoj model.
- Pogledajte broj tokena i kako je tekst podeljen.
Privatnost i ograničenja
Vaš tekst se tokenizuje u pregledaču i nikada se ne otprema.
Srodne alatke
Često postavljana pitanja
Da li ovo broji tokene za Claude, Gemini ili Llama modele?
Ne potpuno tačno: svaka kompanija koristi sopstveni tokenizer, pa se broj tokena za druge modele može primetno razlikovati. Ovaj broj koristite kao približnu procenu za njih.
Zašto se u kineskom ili japanskom jeziku koristi više tokena?
Rečnici uče najčešće delove tekstova na kojima su modeli obučavani. o200k_base ima više delova za tekst koji nije na engleskom nego cl100k_base, pa isti japanski tekst obično zauzima manje tokena u njemu.
Da li se razmaci i prelomi redova računaju?
Da. Razmak se obično spaja sa rečju koja sledi, a prelomi redova su takođe tokeni.
Besplatan alat · pokretanja: u vašem pregledaču · nalog nije potreban