開發者 / 權杖
Token計數器:計算OpenAI模型的Token數量
精確計算任何文字中的Token數量,如同OpenAI模型使用o200k_base分詞器處理GPT-4o及更新版本,以及cl100k_base處理GPT-4和GPT-3.5 Turbo;同時查看字元數、字數、每個Token的字元數,並醒目標示每個Token,全程不會將文字傳送到任何地方。
Token計數器:計算OpenAI模型的Token數量: 文字會在你的瀏覽器中使用js-tiktoken和OpenAI公開的位元組對詞彙表進行編碼,與模型使用的內容相同,因此計數完全一致:「tiktoken is great!」在cl100k_base中是六個Token。每個Token都會以不同色彩的片段顯示,讓你看出常見單字通常是一個Token,而少見單字、數字和其他文字系統則會拆成數個Token。 全程在瀏覽器中於本機執行,檔案不會上傳至伺服器。
- 分類
- 開發者工具
- 使用次數
- 在瀏覽器中
- 費用
- 免費・免註冊
- 可用狀態
- 可立即使用
全程在瀏覽器中執行
對於使用這些編碼的OpenAI模型,計數結果是精確的;數值由瀏覽器中的js-tiktoken(MIT)及OpenAI公布的詞彙表計算而來,您的文字不會傳送到任何地方。其他公司的模型使用自己的tokenizer,因此這些計數對它們只能視為估算值:在英文中,一個token通常約為四個字元。
Token與費用
模型價格是以每百萬個輸入和輸出token計算,因此token數量能幫助你估算請求費用;請查看服務提供者目前的價格表。
經驗法則
以英文來說,100個token約等於75個單字,或是每個token包含4個字元;其他語言和程式碼通常每個單字需要更多token。
使用方式
- 貼上提示詞或文字。
- 選擇模型使用的分詞器。
- 查看Token數量,並檢視文字如何拆分。
隱私與限制
你的文字會在瀏覽器中進行Token化,絕不會上傳。
相關工具
常見問題
這個工具可以計算Claude、Gemini或Llama的Token嗎?
無法精確計算:每家公司都使用自己的分詞器,因此其他模型的Token數量可能有明顯差異。你可以將這裡的計數結果作為這些模型的粗略估算。
為什麼中文或日文會使用更多Token?
詞彙表會學習訓練文字中最常見的片段。o200k_base包含比cl100k_base更多的非英文片段,因此相同的日文文字通常使用它時需要較少Token。
空格和換行也算Token嗎?
算。空格通常會與後面的單字合併,而換行也會算作Token。
免費工具・使用在瀏覽器中次・免註冊