Підрахунок токенів LLM

Порахуйте, скільки токенів використає ваш текст у різних AI моделях. Кількість токенів впливає на обмеження контексту для AI розмов.

Що таке токени?

Токени - це основні одиниці, які обробляють мовні моделі. Токен може бути коротким як один символ або довгим як одне слово. В середньому:

  • 1 токен ≈ 4 символи англійською

Різні моделі використовують різні методи токенізації, тому той самий текст може мати різну кількість токенів.