Token: die Wortstücke der KI
Eine KI liest keine Wörter, sondern Tokens: Wortstücke wie Lego-Steine. „Haus“ ist ein Stein, „Donaudampfschifffahrt“ besteht aus mehreren. In Tokens wird gezählt, wie viel eine KI auf einmal lesen kann und was sie kostet.
💡 Im Englischen ist ein Token grob ein Dreiviertelwort. Deutsch mit seinen langen Wörtern braucht meist mehr Tokens für denselben Inhalt.
So funktioniert es
Bevor ein LLM einen Text verarbeitet, zerlegt ein sogenannter Tokenizer ihn in Stücke. Häufige Wörter bleiben ganz, seltene Wörter werden in Silben oder Buchstabengruppen zerhackt. Jedes Stück bekommt eine Nummer. Mit diesen Nummern rechnet die KI, nicht mit Buchstaben.
Auch die Antwort entsteht Token für Token: Die KI berechnet immer das wahrscheinlichste nächste Stück und hängt es an.
Warum das im Alltag zählt
- Länge: Wie viel Text eine KI auf einmal im Blick behält, wird in Tokens gemessen, siehe Kontextfenster.
- Kosten: Bezahlte KI-Dienste rechnen oft pro Token ab, getrennt nach Eingabe und Antwort.
- Seltsame Fehler: Weil die KI Stücke statt Buchstaben sieht, verzählt sie sich manchmal beim Buchstabenzählen in einem Wort.
Ein Beispiel aus dem Alltag
Stell dir vor, du schickst einen Text per Telegramm und zahlst pro Silbe. Kurze, gängige Wörter sind billig, lange Fachwörter teuer. Genau so „sieht“ eine KI deinen Text.
Häufige Fragen
Wie viele Tokens hat ein Wort?
Das hängt vom Modell und von der Sprache ab. Im Englischen gilt als Faustregel: 1 Token sind etwa 4 Zeichen oder ein Dreiviertelwort. Deutsch braucht oft etwas mehr.
Muss ich als normaler Nutzer Tokens zählen?
Meist nicht. Wichtig wird es, wenn sehr lange Texte nicht mehr ganz verarbeitet werden oder wenn du eine KI über eine Schnittstelle nutzt und pro Token zahlst.