Diese Lektion beantwortet eine einzige Frage: Was tut ein Sprachmodell, wenn es „antwortet“? Sie brauchen dafür keine Mathematik und keinen Code. Sie brauchen ein Bild im Kopf, das erklärt, warum Modelle so gut schreiben und warum sie trotzdem Unsinn erzählen können. Die Prüfung AI-901 fragt genau dieses Bild ab. Die Tiefe, mit Zählen von Token und Kosten in C#, bietet der KI-Track (KI-Track, T1.1 und T1.2). Hier steht der Überblick.
Im Beispiel der Nordlicht Reisen GmbH soll ein Helfer im Kundendienst Antworten vorbereiten. Frau Berg, die Leiterin des Kundendienstes, will wissen, ob man ihm trauen kann. Das Bild dieser Lektion gibt ihr die Antwort: nicht blind.
Generative KI erzeugt neue Inhalte
Generative KI erzeugt Inhalte wie Text, Bilder, Audio oder Code. Die Modelle werden mit großen Mengen solcher Inhalte trainiert, erkennen darin Muster und bilden daraus neue Inhalte, die den Trainingsdaten statistisch ähneln. Aus Ihrer Eingabe baut das Modell eine Ausgabe. Es erzeugt dabei bewusst Neues und liefert deshalb nicht für identische Eingaben immer dieselbe Ausgabe. Wo es um Sprache geht, arbeitet ein großes Sprachmodell (englisch large language model, LLM). Für Bilder oder Audio kommen laut Learn weitere Modelle hinzu.
Schritt 1: Text wird zu Token
Ein Modell liest keinen Text, sondern Token. Ein Tokenisierer (englisch tokenizer) zerlegt den Text in Einheiten aus einem festen Wortschatz. Ein Token kann ein ganzes Wort sein, ein Wortteil, ein einzelnes Zeichen oder ein Satzzeichen. Jedes Token hat im Wortschatz eine Nummer, und das Modell rechnet nur mit diesen Nummern. Am Ende übersetzt es die erzeugten Nummern zurück in Text.
Token sind die Einheit für alles Weitere: Abrechnung erfolgt meist je Token (Eingabe und Ausgabe), und die Länge dessen, was ein Modell auf einmal verarbeiten kann, heißt Kontextfenster und wird in Token gemessen. Eingabe und Ausgabe teilen sich diesen Platz. Ein langer Prompt lässt weniger Raum für die Antwort. Zahlen dazu hängen vom Modell ab und stehen in Lektion 1.3 nur als Hinweis, wo man sie nachliest.
Nordlicht: Eine Kundenbewertung wie bewertung-1.txt wird zerlegt, bevor das Modell sie „sieht“. Ein langes Wort kann dabei in mehrere Token zerfallen. Das erklärt, warum die Länge einer Nachricht in Token nicht der Zahl ihrer Wörter entspricht.
Schritt 2: Token werden zu Embeddings
Damit ein Modell mit Token rechnen kann, bekommt jedes Token einen Vektor, eine Liste von Zahlen. Diese Liste heißt Embedding („Einbettung“, danach schreiben wir im Kurs Embedding). Die Zahlen beschreiben laut Learn Bedeutungsmerkmale des Tokens und ergeben sich daraus, wie oft Token gemeinsam oder in ähnlichen Zusammenhängen vorkommen. Wörter mit ähnlicher Bedeutung liegen dadurch in diesem Zahlenraum nahe beieinander.
Embeddings sind nicht nur eine Zwischenstufe im Modell. Man kann sie auch für ganze Texte berechnen und dann Texte nach Bedeutung vergleichen, etwa für die Suche. Das ist die Idee hinter der Vektorsuche (KI-Track, T4.1).
Schritt 3: Aufmerksamkeit und Wahrscheinlichkeiten
Das Modell soll das nächste Token vorhersagen. Dazu gewichtet es die Token der bisherigen Folge: Jedes bekommt ein Gewicht, das ausdrückt, wie stark es das nächste Token beeinflusst. Das ist der Grundgedanke der Aufmerksamkeit (englisch attention): Das Modell achtet auf die Teile des Textes, die für die nächste Stelle wichtig sind. Die Bauart, die das umsetzt, heißt meist Transformer; Learn nennt sie als typische Architektur großer Sprachmodelle. Aus den Gewichten und Embeddings berechnet das Modell, welche Token als nächstes infrage kommen und wie wahrscheinlich jedes ist.
Dann wird eines ausgewählt, in der Regel ein wahrscheinliches. Diese Auswahl lässt sich über Einstellungen beeinflussen, etwa die Temperatur (Lektion 1.3). Das gewählte Token wird an die Folge angehängt, und das Spiel beginnt von vorn. So entsteht die Ausgabe ein Token nach dem anderen, ähnlich wie bei der Wortvorhersage einer Tastatur, nur viel weitreichender.
Prompt und Completion
Alles, was Sie an das Modell schicken, heißt Prompt („Aufforderung“, danach schreiben wir im Kurs Prompt): die Anweisungen des Systems, der bisherige Gesprächsverlauf und Ihre Eingabe. Was das Modell daraufhin erzeugt, heißt Completion (Vervollständigung) oder einfach Antwort. Das Modell hat kein Gedächtnis zwischen zwei Aufrufen. Wer ein Gespräch will, schickt den Verlauf jedes Mal mit. Wie man Prompts gut schreibt, behandelt Lektion 2.2.
| Begriff | Was es ist | Wo es Ihnen begegnet |
|---|---|---|
| Token | Einheit aus Wort, Wortteil oder Zeichen | Abrechnung, Kontextfenster |
| Embedding | Zahlenliste zur Bedeutung eines Tokens oder Textes | Vektorsuche, Ähnlichkeit |
| Aufmerksamkeit | Gewichtung, welche Token für das nächste wichtig sind | Transformer |
| Prompt | alles, was zum Modell geht | Systemanweisung, Frage, Verlauf |
| Completion | das, was das Modell erzeugt | die Antwort |
Warum Antworten falsch sein können
Das Modell wählt, was statistisch passt, nicht, was geprüft stimmt. Es sucht keine Fakten heraus, es setzt Text fort. Deshalb kann es überzeugend klingende, aber falsche Antworten geben. Man nennt das Halluzination. Learn beschreibt als verwandtes Maß die Ungroundedness (Ungeerdetheit): Das Modell erzeugt Informationen, die nicht stimmen oder von dem abweichen, was in den bereitgestellten Quellen steht. Dazu kommt: Das Wissen hat einen Stichtag, und neuere Ereignisse und Ihre eigenen Daten kennt das Modell nicht.
Nordlicht: Der Helfer soll beantworten, bis wann ein Gast im Hotel Seeblick kostenlos stornieren darf. Ohne die Buchungsbestätigung im Prompt hat er keine Grundlage. Er würde trotzdem eine Frist nennen, die plausibel klingt.
Grounding: dem Modell die Quelle mitgeben
Das Gegenmittel heißt Grounding (Erdung). Sie geben dem Modell zur Anfrage die Informationen mit, auf die sich die Antwort stützen soll, etwa den Text der Buchungsbestätigung rechnung-seeblick.pdf. Learn beschreibt das als Technik, das Wissen eines Modells um weitere Daten zu ergänzen: Informationen, die beim Training nicht dabei waren, werden zum Prompt hinzugefügt. Eine geerdete Antwort hält sich eng an die gegebene Information und vermeidet Spekulation. Die verbreitete Form heißt Retrieval-Augmented Generation (RAG): erst passende Texte suchen, dann mit ihnen antworten lassen. Den Ablauf in C# zeigt der KI-Track (KI-Track, T5.1). Eine Garantie ist Grounding nicht. Deshalb prüft im Pilotprojekt ein Mensch jede Antwort (Lektion 1.1).
Übung 1
Der Helfer von Nordlicht schreibt einem Gast: „Sie können bis kurz vor der Anreise kostenlos stornieren.“ In der Buchungsbestätigung steht dazu nichts. Beantworten Sie in je einem Satz:
- Wie ist diese Antwort entstanden?
- Wie heißt das Phänomen?
- Was könnte Nordlicht an der Anfrage ändern?
- Welcher Teil des Prompts hätte die Frist liefern können: Systemanweisung, Frage oder mitgegebener Text?
Lösung 1
- Das Modell hat das statistisch wahrscheinlichste Token nach dem anderen gewählt. Die Aussage klingt nach üblichen Stornoregeln, sie stützt sich aber auf keine Quelle.
- Halluzination, in Learns Wort eine ungeerdete Antwort.
- Die Buchungsbestätigung oder die Stornobedingungen des Hotels in den Prompt aufnehmen (Grounding) und das Modell anweisen, ohne Quelle keine Frist zu nennen.
- Der mitgegebene Text, also die Bestätigung. Die Systemanweisung legt Verhalten fest, die Frage stellt die Aufgabe, aber die Tatsache muss von der Quelle kommen.