Grundlagen und Technologie
Token
Tokens sind die Textbausteine (meist Wortteile), in die ein Sprachmodell Text zerlegt, um ihn zu verarbeiten, zu generieren und abzurechnen.
Für dein Unternehmen
Wenn KI-Anbieter nach „Tokens" abrechnen, lohnt sich ein grobes Gefühl dafür: Lange Dokumente oder viele parallele Anfragen treiben die Kosten deutlich stärker als darauf optimierte Prompts und Skills.
IT, Finanzen/Controlling
Ausführliche Definition
Sprachmodelle lesen und erzeugen Text nicht wortweise, sondern in kleineren Einheiten, sogenannten Tokens: Das können ganze Wörter, Wortteile oder einzelne Zeichen sein. Ein Token entspricht im Deutschen im Schnitt etwa drei bis vier Buchstaben. Die Anzahl der verarbeiteten Tokens bestimmt sowohl die Kosten und den Verbrauch von Nutzungs-Limits der meisten KI-Dienste als auch, wie viel Text auf einmal berücksichtigt werden kann (siehe Kontextfenster).
large-language-model; prompt; temperature; skills; token-okonomie
Deep Learning (Kapitel 5.2: Capacity, Overfitting and Underfitting) | Goodfellow, Bengio, Courville, MIT Press, 2016
← Alle Begriffe im KI-Glossar


