مطور / الرموز
عدّاد التوكنات: احسب توكنات نماذج OpenAI
احسب توكنات أي نص بدقة كما تفعل نماذج OpenAI، باستخدام محلّل o200k_base في GPT-4o والإصدارات الأحدث، وcl100k_base في GPT-4 وGPT-3.5 Turbo، مع عرض عدد الأحرف والكلمات ومتوسط الأحرف لكل توكن، وتمييز كل توكن، من دون إرسال النص إلى أي مكان.
عدّاد التوكنات: احسب توكنات نماذج OpenAI: يُرمَّز النص في المتصفح باستخدام js-tiktoken ومفردات أزواج البايتات التي نشرتها OpenAI، وهي المفردات نفسها التي تستخدمها النماذج، لذلك تتطابق النتائج بدقة: "tiktoken is great!" يتكوّن من ستة توكنات في cl100k_base. يظهر كل توكن على شكل جزء ملوّن، لتتمكن من رؤية أن الكلمات الشائعة تكون توكنًا واحدًا، بينما قد تنقسم الكلمات النادرة والأرقام والكتابات الأخرى إلى عدة توكنات. يعمل 100% محليًا في المتصفح، من دون رفع أي ملفات إلى الخادم.
- الفئة
- أدوات المطورين
- مرات التشغيل
- في المتصفح
- التكلفة
- مجاني · بلا تسجيل
- التوفر
- جاهز للاستخدام
تعمل بالكامل في المتصفح
الأعداد دقيقة لنماذج OpenAI التي تستخدم هذه الترميزات، وقد حُسبت في المتصفح باستخدام js-tiktoken (MIT) وقوائم المفردات المنشورة من OpenAI؛ لا يُرسل النص إلى أي جهة. تستخدم نماذج الشركات الأخرى أدوات تجزئة خاصة بها، لذا اعتبر هذه الأعداد تقديرية لها: في الإنجليزية، يتكون الرمز غالبًا من نحو أربعة أحرف.
الرموز والتكلفة
تُحسب أسعار النماذج لكل مليون رمز إدخال وإخراج، لذا تساعدك أعداد الرموز على تقدير تكلفة الطلب؛ راجع قائمة الأسعار الحالية لدى مزود الخدمة.
قاعدة تقريبية
في الإنجليزية، يعادل 100 رمز نحو 75 كلمة، أو أربعة أحرف لكل رمز؛ أما اللغات الأخرى والرموز البرمجية فتحتاج عادةً إلى رموز أكثر لكل كلمة.
طريقة الاستخدام
- الصق المطالبة أو النص.
- اختر محلّل التوكنات المستخدم في نموذجك.
- اقرأ عدد التوكنات، وراجع كيفية تقسيم النص.
الخصوصية والقيود
تتم معالجة نصك إلى توكنات في المتصفح، ولا يجري رفعه إلى أي مكان.
أدوات ذات صلة
الأسئلة الشائعة
هل يحسب هذا التوكنات في Claude أو Gemini أو Llama؟
ليس بدقة، إذ تستخدم كل شركة محلّل توكنات خاصًا بها، لذلك قد تختلف أعداد التوكنات في النماذج الأخرى بشكل ملحوظ. استخدم العدد هنا كتقدير تقريبي لها.
لماذا تستخدم اللغة الصينية أو اليابانية توكنات أكثر؟
تتعلّم المفردات الأجزاء الأكثر شيوعًا في النصوص المستخدمة لتدريبها. يحتوي o200k_base على أجزاء غير إنجليزية أكثر من cl100k_base، لذلك يحتاج النص الياباني نفسه عادةً إلى عدد أقل من التوكنات عند استخدامه.
هل تُحتسب المسافات وفواصل الأسطر؟
نعم. تُضمّ المسافة عادةً إلى الكلمة التي تليها، كما تُعد فواصل الأسطر توكنات أيضًا.
أداة مجانية · عدد مرات الاستخدام في المتصفح · لا يتطلب حسابًا