Anthropic Claudeトークナイザー

公式トークナイザーを使用してClaudeモデル（Opus、Sonnet、Haiku）のトークンをカウント

入力テキスト

⋯

Enter some text above to see the token count

上の入力フィールドにテキストを入力または貼り付けて、トークンと文字数を分析してください。

Claudeのトークナイザーについて

  • ClaudeはGPTモデルと同様のBPE（バイトペアエンコーディング）トークナイザーを使用します
  • 平均トークン長: 英語テキストで約4文字
  • 特殊文字とコードはより多くのトークンを使用する可能性があります