開発者 / トークン
トークンカウンター：OpenAIモデルのトークン数を数える
OpenAIのモデルと同じ方法で、あらゆるテキストのトークン数を正確に数えます。GPT-4o以降で使われるo200k_baseや、GPT-4とGPT-3.5 Turboで使われるcl100k_baseのトークナイザーに対応し、文字数、単語数、1トークンあたりの文字数も表示します。各トークンのハイライト表示にも対応しており、テキストをどこにも送信せずに利用できます。
トークンカウンター：OpenAIモデルのトークン数を数える: テキストはjs-tiktokenとOpenAIが公開しているバイトペア語彙を使ってブラウザ内でエンコードされます。モデルが使用するものと同じため、カウントは完全に一致します。たとえば、"tiktoken is great!"はcl100k_baseで6トークンです。各トークンは色付きの部分として表示されるため、一般的な単語は1トークンになる一方、まれな単語、数字、その他の文字体系では複数のトークンに分割されることがわかります。 サーバーへのファイルアップロードは一切なく、100%ブラウザ内でローカル実行します。
- カテゴリ
- 開発者ツール
- 実行回数
- ブラウザ内で
- コスト
- 無料 · 登録不要
- 提供状況
- すぐに使えます
完全にブラウザ内で実行します
これらのエンコーディングを使用するOpenAIのモデルでは、カウントは正確です。ブラウザ上でjs-tiktoken (MIT)とOpenAIが公開している語彙を使って計算しており、テキストが外部に送信されることはありません。他社のモデルは独自のトークナイザーを使用するため、これらのカウントは目安として扱ってください。英語では、1トークンは通常約4文字です。
トークンと料金
モデルの料金は入力トークンと出力トークンそれぞれ1,000,000トークン単位で設定されているため、トークン数からリクエストの料金を見積もれます。現在の料金表はプロバイダーにご確認ください。
目安
英語では、100トークンは約75語、または1トークンあたり4文字に相当します。他の言語やコードでは、1語あたりにより多くのトークンが必要になることがあります。
使い方
- プロンプトまたはテキストを貼り付けます。
- モデルに対応するトークナイザーを選択します。
- トークン数を確認し、テキストがどのように分割されたかを確認します。
プライバシーと制限事項
テキストはブラウザ内でトークン化され、アップロードされることはありません。
関連ツール
よくある質問
Claude、Gemini、Llamaのトークン数も数えられますか？
正確には数えられません。各社は独自のトークナイザーを使用しているため、他のモデルではトークン数が大きく異なる場合があります。これらのモデルについては、ここでの数値をおおよその目安としてご利用ください。
中国語や日本語はなぜ多くのトークンを使うのですか？
語彙は、学習テキストで最もよく使われる文字列を学習します。o200k_baseにはcl100k_baseより英語以外の文字列が多く含まれているため、同じ日本語のテキストでも通常はより少ないトークン数になります。
スペースや改行もカウントされますか？
はい。スペースは通常、その後に続く単語と結合され、改行もトークンとしてカウントされます。
無料ツール · ブラウザ内で · アカウント不要