डेवलपर / टोकन
टोकन काउंटर: OpenAI मॉडल के लिए टोकन गिनें
किसी भी टेक्स्ट में टोकन ठीक वैसे गिनें जैसे OpenAI के मॉडल गिनते हैं। GPT-4o और नए मॉडल में इस्तेमाल होने वाले o200k_base tokenizer और GPT-4 तथा GPT-3.5 Turbo में इस्तेमाल होने वाले cl100k_base के साथ अक्षर, शब्द और प्रति टोकन अक्षर भी देखें। हर टोकन हाइलाइट होकर दिखता है और आपका टेक्स्ट कहीं भेजा नहीं जाता।
टोकन काउंटर: OpenAI मॉडल के लिए टोकन गिनें: आपके ब्राउज़र में js-tiktoken और OpenAI की प्रकाशित byte-pair शब्दावलियों का इस्तेमाल करके टेक्स्ट को encode किया जाता है। मॉडल भी इन्हीं का इस्तेमाल करते हैं, इसलिए गिनती बिल्कुल समान रहती है: "tiktoken is great!" cl100k_base में छह टोकन हैं। हर टोकन रंगीन हिस्से के रूप में दिखता है, जिससे आप देख सकते हैं कि आम शब्द एक टोकन होते हैं, जबकि दुर्लभ शब्द, संख्याएँ और दूसरी लिपियाँ कई टोकन में विभाजित हो जाती हैं। यह आपके ब्राउज़र में 100% स्थानीय रूप से चलता है और सर्वर पर कोई फ़ाइल अपलोड नहीं होती।
- श्रेणी
- डेवलपर टूल्स
- रन
- आपके ब्राउज़र में
- लागत
- मुफ़्त · साइन अप की ज़रूरत नहीं
- उपलब्धता
- इस्तेमाल के लिए तैयार
पूरी तरह आपके ब्राउज़र में चलता है
इन एन्कोडिंग का उपयोग करने वाले OpenAI मॉडल के लिए गिनती सटीक है। इसकी गणना आपके ब्राउज़र में js-tiktoken (MIT) और OpenAI की प्रकाशित शब्दावलियों से की जाती है; आपका टेक्स्ट कहीं नहीं भेजा जाता। अन्य कंपनियों के मॉडल अपने टोकनाइज़र इस्तेमाल करते हैं, इसलिए उनके लिए इन गिनतियों को अनुमान मानें: अंग्रेज़ी में एक टोकन में अक्सर लगभग चार अक्षर होते हैं।
टोकन और लागत
मॉडल की कीमतें प्रति मिलियन इनपुट और आउटपुट टोकन होती हैं, इसलिए टोकन की संख्या से आप किसी अनुरोध की लागत का अनुमान लगा सकते हैं; प्रदाता की मौजूदा मूल्य सूची देखें।
मोटे तौर पर नियम
अंग्रेज़ी में 100 टोकन लगभग 75 शब्द या प्रति टोकन चार अक्षरों के बराबर होते हैं; अन्य भाषाओं और कोड में आम तौर पर प्रति शब्द अधिक टोकन लगते हैं।
इस्तेमाल करने का तरीका
- अपना prompt या टेक्स्ट पेस्ट करें।
- अपने मॉडल के लिए tokenizer चुनें।
- टोकन की संख्या पढ़ें और देखें कि टेक्स्ट कैसे विभाजित हुआ है।
गोपनीयता और सीमाएँ
आपके ब्राउज़र में आपके टेक्स्ट को tokenized किया जाता है और उसे कभी अपलोड नहीं किया जाता।
संबंधित टूल्स
अक्सर पूछे जाने वाले सवाल
क्या यह Claude, Gemini या Llama के लिए टोकन गिनता है?
पूरी तरह सटीक नहीं: हर कंपनी अपना tokenizer इस्तेमाल करती है, इसलिए दूसरे मॉडल की गिनती में काफ़ी अंतर हो सकता है। उनके लिए यहाँ दिखाई गई गिनती को मोटा अनुमान मानें।
चीनी या जापानी में ज़्यादा टोकन क्यों लगते हैं?
शब्दावलियाँ अपने training text के सबसे आम हिस्सों को सीखती हैं। o200k_base में cl100k_base की तुलना में गैर-अंग्रेज़ी हिस्से अधिक हैं, इसलिए वही जापानी टेक्स्ट आमतौर पर इसमें कम टोकन लेता है।
क्या spaces और line breaks भी गिने जाते हैं?
हाँ। आमतौर पर space उसके बाद आने वाले शब्द के साथ जुड़ जाता है, और line breaks भी टोकन होते हैं।
मुफ़्त टूल · आपके ब्राउज़र में बार चलता है · अकाउंट की ज़रूरत नहीं