Räkna LLM-tokens

Beräkna hur många tokens din text kommer att använda med olika AI-modeller. Antal tokens påverkar kontextgränser för AI-konversationer.

Vad är tokens?

Tokens är de grundläggande enheter som språkmodeller bearbetar. En token kan vara så kort som ett tecken eller så lång som ett ord. I genomsnitt:

  • 1 token ≈ 4 tecken på engelska

Olika modeller använder olika tokeniseringsmetoder, så samma text kan resultera i olika antal tokens.