Токенізатор Anthropic Claude

Підрахунок токенів для моделей Claude (Opus, Sonnet, Haiku) з офіційним токенізатором

Вхідний текст

⋯

Enter some text above to see the token count

Введіть або вставте текст у поле вводу вище для аналізу токенів та підрахунку символів.

Про токенізатор Claude

  • Claude використовує BPE (кодування байтових пар) токенайзер, схожий на GPT моделі
  • Середня довжина токена: ~4 символи для англійського тексту
  • Спеціальні символи та код можуть використовувати більше токенів