Для разработчиков / Токены
Счётчик токенов: подсчёт токенов для моделей OpenAI
Точно подсчитайте токены в любом тексте так же, как это делают модели OpenAI, используя токенизатор o200k_base для GPT-4o и более новых моделей и cl100k_base для GPT-4 и GPT-3.5 Turbo. Одновременно отображаются количество символов и слов, а также число символов на токен. Каждый токен выделяется, а ваш текст никуда не отправляется.
Счётчик токенов: подсчёт токенов для моделей OpenAI: Текст кодируется в браузере с помощью js-tiktoken и опубликованных OpenAI словарей парового кодирования — тех же, которые используют модели, поэтому результаты полностью совпадают: «tiktoken is great!» — это шесть токенов в cl100k_base. Каждый токен отображается как цветной фрагмент, поэтому вы видите, что распространённые слова занимают один токен, а редкие слова, числа и другие письменности разбиваются на несколько токенов. Работает на 100% локально в вашем браузере, файлы на сервер не загружаются.
- Категория
- Инструменты для разработчиков
- Запуски
- В вашем браузере
- Стоимость
- Бесплатно · без регистрации
- Доступность
- Готово к использованию
Полностью работает в браузере
Подсчёты точны для моделей OpenAI, использующих эти кодировки: они выполняются в вашем браузере с помощью js-tiktoken (MIT) и опубликованных словарей OpenAI; ваш текст никуда не отправляется. Модели других компаний используют собственные токенизаторы, поэтому считайте эти значения для них приблизительными: в английском языке на один токен часто приходится около четырёх символов.
Токены и стоимость
Цены на модели указываются за миллион входных и выходных токенов, поэтому их количество помогает оценить стоимость запроса; проверяйте актуальный прайс-лист провайдера.
Примерное правило
В английском языке 100 токенов — это примерно 75 слов, или четыре символа на токен; для других языков и кода обычно требуется больше токенов на слово.
Как пользоваться
- Вставьте запрос или текст.
- Выберите токенизатор для своей модели.
- Посмотрите количество токенов и узнайте, как был разбит текст.
Конфиденциальность и ограничения
Ваш текст разбивается на токены в браузере и никогда не загружается на сервер.
Похожие инструменты
Часто задаваемые вопросы
Подходит ли этот подсчёт токенов для Claude, Gemini или Llama?
Не совсем: каждая компания использует собственный токенизатор, поэтому количество токенов для других моделей может заметно отличаться. Используйте результат здесь только как приблизительную оценку.
Почему китайский или японский текст занимает больше токенов?
Словари учатся на наиболее распространённых фрагментах обучающих данных. В o200k_base больше неанглоязычных фрагментов, чем в cl100k_base, поэтому один и тот же японский текст обычно занимает с ним меньше токенов.
Учитываются ли пробелы и переводы строк?
Да. Пробел обычно присоединяется к следующему слову, а переводы строк тоже считаются токенами.
Бесплатный инструмент · запусков: в вашем браузере · аккаунт не нужен