Токенізатор OpenAI ChatGPT

Підрахунок токенів для GPT-5, GPT-4, GPT-4o, GPT-3.5 Turbo, ChatGPT та інших моделей OpenAI

Вхідний текст

Про токенізатор OpenAI

  • Середня довжина токена: ~4 символи для англійського тексту
  • Код та спеціальні символи звичайно використовують більше токенів