LLM: das Sprachmodell
Large Language Model, die Technik hinter Chatbots wie ChatGPT, Claude oder Gemini. Es wurde mit riesigen Textmengen trainiert und erzeugt Antworten Wort für Wort, indem es berechnet, was am besten passt.
Das klingt simpel, ergibt aber erstaunlich gute Texte. Es bedeutet aber auch: Ein LLM weiß nichts im menschlichen Sinn, es formuliert.
Wie ein Sprachmodell arbeitet
Ein LLM zerlegt Text in kleine Bausteine, sogenannte Tokens, meist Wortteile. Beim Training hat es aus riesigen Textmengen gelernt, welche Tokens in welchem Zusammenhang aufeinander folgen. Bei einer Frage berechnet es Schritt für Schritt das jeweils passendste nächste Token, bis die Antwort fertig ist.
Wie viel Text das Modell auf einmal im Blick behalten kann, beschreibt das Kontextfenster. Je größer es ist, desto längere Dokumente kann man ihm geben.
Ein Beispiel aus dem Alltag
Wie die Wortvorschläge auf der Handytastatur, nur unvorstellbar viel größer und klüger trainiert. Aus „Ich komme heute etwas …“ wird nicht nur „später“, sondern ein ganzer, sinnvoller Absatz.
Häufiger Irrtum
„Ein LLM schlägt Antworten in einer Datenbank nach.“ Es formuliert aus gelerntem Wissen und kann sich dabei irren. Manche Chatbots durchsuchen zusätzlich das Internet, das ist aber eine Zusatzfunktion. Mehr dazu unter Halluzination.
Häufige Fragen
Lernt der Chatbot aus meinen Eingaben?
Das hängt vom Anbieter und den Einstellungen ab. Manche nutzen Gespräche für das Training künftiger Modelle, oft lässt sich das abschalten. Vertrauliches sollte man grundsätzlich nicht eingeben.
Warum weiß ein LLM manchmal nichts über aktuelle Ereignisse?
Sein Wissen stammt aus Trainingsdaten bis zu einem Stichtag. Was danach passiert ist, kennt es nur, wenn es eine Websuche nutzen kann.