開發者 / 權杖

Token計數器:計算OpenAI模型的Token數量

精確計算任何文字中的Token數量,如同OpenAI模型使用o200k_base分詞器處理GPT-4o及更新版本,以及cl100k_base處理GPT-4和GPT-3.5 Turbo;同時查看字元數、字數、每個Token的字元數,並醒目標示每個Token,全程不會將文字傳送到任何地方。

Token計數器:計算OpenAI模型的Token數量: 文字會在你的瀏覽器中使用js-tiktoken和OpenAI公開的位元組對詞彙表進行編碼,與模型使用的內容相同,因此計數完全一致:「tiktoken is great!」在cl100k_base中是六個Token。每個Token都會以不同色彩的片段顯示,讓你看出常見單字通常是一個Token,而少見單字、數字和其他文字系統則會拆成數個Token。 全程在瀏覽器中於本機執行,檔案不會上傳至伺服器。

使用次數
在瀏覽器中
費用
免費・免註冊
可用狀態
可立即使用
Token計數器本機處理

全程在瀏覽器中執行

Tokens…
字元0
單字0
每個token的字元數—

對於使用這些編碼的OpenAI模型,計數結果是精確的;數值由瀏覽器中的js-tiktoken(MIT)及OpenAI公布的詞彙表計算而來,您的文字不會傳送到任何地方。其他公司的模型使用自己的tokenizer,因此這些計數對它們只能視為估算值:在英文中,一個token通常約為四個字元。

Token與費用

模型價格是以每百萬個輸入和輸出token計算,因此token數量能幫助你估算請求費用;請查看服務提供者目前的價格表。

經驗法則

以英文來說,100個token約等於75個單字,或是每個token包含4個字元;其他語言和程式碼通常每個單字需要更多token。

使用方式

  1. 貼上提示詞或文字。
  2. 選擇模型使用的分詞器。
  3. 查看Token數量,並檢視文字如何拆分。

隱私與限制

你的文字會在瀏覽器中進行Token化,絕不會上傳。

相關工具

常見問題

這個工具可以計算Claude、Gemini或Llama的Token嗎?

無法精確計算:每家公司都使用自己的分詞器,因此其他模型的Token數量可能有明顯差異。你可以將這裡的計數結果作為這些模型的粗略估算。

為什麼中文或日文會使用更多Token?

詞彙表會學習訓練文字中最常見的片段。o200k_base包含比cl100k_base更多的非英文片段,因此相同的日文文字通常使用它時需要較少Token。

空格和換行也算Token嗎?

算。空格通常會與後面的單字合併,而換行也會算作Token。

免費工具・使用在瀏覽器中次・免註冊