Entwickler / Token
Tokenzähler: Tokens für OpenAI-Modelle zählen
Zähle die Tokens jedes Textes genau wie die Modelle von OpenAI – mit dem von GPT-4o und neueren Modellen verwendeten Tokenizer o200k_base und cl100k_base für GPT-4 und GPT-3.5 Turbo. Sieh außerdem Zeichen, Wörter, Zeichen pro Token und jedes hervorgehobene6?
Tokenzähler: Tokens für OpenAI-Modelle zählen: Der Text wird mit js-tiktoken und den veröffentlichten Byte-Pair-Vokabularen von OpenAI in deinem Browser codiert – mit denselben Vokabularen wie die Modelle. Deshalb stimmen die Zählungen exakt überein: "tiktoken is great!" besteht in cl100k_base aus sechs Tokens. Jedes Token wird als farbiges Textstück angezeigt. So siehst du, dass häufige Wörter ein Token bilden, während seltene Wörter, Zahlen und andere Schriftsysteme in mehrere Tokens aufgeteilt werden. Läuft zu 100% lokal in deinem Browser, ohne Datei-Uploads zum Server.
- Kategorie
- Entwicklerwerkzeuge
- Ausführungen
- In deinem Browser
- Kosten
- Kostenlos · ohne Anmeldung
- Verfügbarkeit
- Einsatzbereit
Läuft vollständig in deinem Browser
Die Zählungen sind für OpenAI-Modelle, die diese Kodierungen verwenden, exakt. Sie werden in deinem Browser mit js-tiktoken (MIT) und den veröffentlichten Vokabularen von OpenAI berechnet; dein Text wird nirgendwohin gesendet. Modelle anderer Unternehmen verwenden eigene Tokenizer. Betrachte diese Zählungen für solche Modelle daher als Schätzung: Im Englischen entspricht ein Token oft etwa vier Zeichen.
Tokens und Kosten
Die Preise der Modelle gelten pro einer Million Eingabe- und Ausgabe-Tokens. Anhand der Tokenanzahl kannst du daher die Kosten einer Anfrage schätzen; prüfe die aktuelle Preisliste des Anbieters.
Faustregel
Im Englischen entsprechen 100 Tokens ungefähr 75 Wörtern oder vier Zeichen pro Token; andere Sprachen und Code benötigen in der Regel mehr Tokens pro Wort.
So benutzt du es
- Füge deinen Prompt oder Text ein.
- Wähle den Tokenizer für dein Modell.
- Lies die Tokenanzahl ab und sieh dir an, wie der Text aufgeteilt wurde.
Datenschutz & Einschränkungen
Dein Text wird in deinem Browser tokenisiert und niemals hochgeladen.
Ähnliche Tools
Häufige Fragen
Zählt dieses Tool Tokens für Claude, Gemini oder Llama?
Nicht genau: Jedes Unternehmen verwendet einen eigenen Tokenizer, daher können die Zählungen für andere Modelle deutlich abweichen. Verwende die hier angezeigte Zahl für diese Modelle nur als grobe Schätzung.
Warum benötigen Chinesisch oder Japanisch mehr Tokens?
Vokabulare lernen die häufigsten Bestandteile ihrer Trainingsdaten. o200k_base enthält mehr nicht-englische Bestandteile als cl100k_base. Daher benötigt derselbe japanische Text damit normalerweise weniger Tokens.
Werden Leerzeichen und Zeilenumbrüche mitgezählt?
Ja. Ein Leerzeichen wird normalerweise mit dem darauffolgenden Wort verbunden, und auch Zeilenumbrüche sind Tokens.
Kostenloses Tool · läuft in deinem browser · kein Konto nötig