Desarrollador / Tokens
Contador de tokens: cuenta tokens para modelos de OpenAI
Cuenta los tokens de cualquier texto exactamente como lo hacen los modelos de OpenAI, con el tokenizador o200k_base, usado por GPT-4o y versiones posteriores, y cl100k_base, usado por GPT-4 y GPT-3.5 Turbo. Consulta también los caracteres, las palabras y los caracteres por token, y ve cada token resaltado, sin enviar tu texto a ningún sitio.
Contador de tokens: cuenta tokens para modelos de OpenAI: El texto se codifica en tu navegador con js-tiktoken y los vocabularios de pares de bytes publicados por OpenAI, los mismos que usan sus modelos, por lo que los recuentos coinciden exactamente: "tiktoken is great!" son seis tokens en cl100k_base. Cada token se muestra como un fragmento de color, para que puedas ver que las palabras comunes son un solo token, mientras que las palabras poco frecuentes, los números y otros sistemas de escritura se dividen en varios. Funciona al 100 % en tu navegador, sin subir archivos a ningún servidor.
- Categoría
- Herramientas de desarrollo
- Se ejecuta
- En tu navegador
- Coste
- Gratis · sin registro
- Disponibilidad
- Lista para usar
Funciona por completo en tu navegador
Los recuentos son exactos para los modelos de OpenAI que usan estas codificaciones; se calculan en tu navegador con js-tiktoken (MIT) y los vocabularios publicados por OpenAI, y tu texto no se envía a ningún sitio. Los modelos de otras empresas usan sus propios tokenizadores, así que considera estos recuentos una estimación para ellos: en inglés, un token suele tener unos cuatro caracteres.
Tokens y coste
Los precios de los modelos se calculan por cada millón de tokens de entrada y salida, así que el recuento de tokens te permite estimar el coste de una solicitud; consulta la lista de precios actual del proveedor.
Regla general
En inglés, 100 tokens equivalen aproximadamente a 75 palabras, o a cuatro caracteres por token; otros idiomas y el código suelen necesitar más tokens por palabra.
Cómo se usa
- Pega tu prompt o texto.
- Elige el tokenizador de tu modelo.
- Consulta el recuento de tokens y observa cómo se ha dividido el texto.
Privacidad y límites
Tu texto se tokeniza en tu navegador y nunca se sube.
Herramientas relacionadas
Preguntas frecuentes
¿Cuenta tokens para Claude, Gemini o Llama?
No exactamente: cada empresa utiliza su propio tokenizador, por lo que los recuentos de otros modelos pueden variar considerablemente. Usa el recuento de esta herramienta como una estimación aproximada para esos modelos.
¿Por qué el chino o el japonés usan más tokens?
Los vocabularios aprenden los fragmentos más comunes del texto utilizado para entrenarlos. o200k_base tiene más fragmentos que no están en inglés que cl100k_base, por lo que el mismo texto japonés suele requerir menos tokens con este tokenizador.
¿Los espacios y los saltos de línea cuentan?
Sí. Normalmente, un espacio se une a la palabra que le sigue, y los saltos de línea también son tokens.
Herramienta gratuita · se ejecuta en tu navegador · sin cuenta