LLMトークンカウント

さまざまなAIモデルでテキストが使用するトークン数を計算します。トークン数は AI会話のコンテキスト制限に影響します。

トークンとは?

トークンは言語モデルが処理する基本単位です。トークンは1文字から 1単語までの長さになることがあります。平均的に:

  • 1トークン ≈ 英語で4文字

モデルによって異なるトークン化方法を使用するため、同じテキストでも トークン数が異なる場合があります。