Contar Tokens de LLM

Calcula cuántos tokens usará tu texto con diferentes modelos de IA. El conteo de tokens afecta los límites de contexto para conversaciones de IA.

¿Qué son los tokens?

Los tokens son las unidades básicas que procesan los modelos de lenguaje. Un token puede ser tan corto como un carácter o tan largo como una palabra. En promedio:

  • 1 token ≈ 4 caracteres en inglés

Diferentes modelos usan diferentes métodos de tokenización, por lo que el mismo texto puede resultar en diferentes conteos de tokens.