Das Gruppenreise-Team der Nordlicht Reisen GmbH macht je Anfrage bis zu 20 Modellaufrufe (Lektion 0.2), und die Anfragen kommen über die Warteschlange anfragen zur Container App app-gruppenreisen (M-10). Erwartet sind 25 Anfragen pro Woche (M-01), aber eine Lastspitze vervielfacht die Aufrufe schnell. Die Lektion fragt: Was darf der Lauf wiederverwenden, ohne etwas Falsches zu sagen oder Mandanten zu mischen? Und: Wie viele Läufe starten gleichzeitig, und wer begrenzt das?
Vorwissen. „KI-Track, Lektion T3.4“ erklärt den Prompt-Cache der Anbieter ausführlich: stabiler Anfang vorn, Cache-Killer, Messung über die zwischengespeicherten Eingabetokens, Schlüssel und Breakpoints bei neueren Modellfamilien. „T2.4“ zeigt Middleware um den Chat-Client, darunter UseDistributedCache für Antworten. „AI-103, Lektion 1.3“ rechnet Kontingent und Durchsatz. Das wird hier nicht wiederholt. Neu ist die Mehr-Agenten-Lage: sieben Anweisungen statt einer, Zweige, die gleichzeitig laufen, mehrere Mandanten in einer Anwendung und eine Warteschlange vor dem Ganzen.
Neu in dieser Lektion. Annahmen der Aufgabe: Das Ergebnis von lieferanten/verfuegbarkeit_lesen darf 2 Minuten zwischengespeichert werden; lieferanten/vorreservieren (A2) wird nie zwischengespeichert. Ein Replikat bearbeitet höchstens 4 Läufe gleichzeitig; es gibt höchstens 6 Replikate; ein Lauf hat höchstens 2 gleichzeitige Zweige (unterkunft, transport, Lektion 2.8). Ein semantischer Cache kommt im Fall nicht vor.
Die Anforderung
Alle Zahlen sind Annahmen der Aufgabe.
| Nr. | Anforderung | Art | Messgröße | Gewicht | Quelle |
|---|---|---|---|---|---|
| 2.10-01 | Kein Cache liefert Daten eines Mandanten an einen anderen. | R | 0 Treffer über Mandantengrenzen | Muss | M-07 |
| 2.10-02 | Ändernde Aufrufe und Preisrechnung laufen nie aus einem Cache. | R | 0 Treffer bei A2 und rechner |
Muss | M-05, M-03 |
| 2.10-03 | Ein Replikat nimmt höchstens 4 Läufe gleichzeitig an. | R | 4 | Muss | Kontingent |
| 2.10-04 | Die höchste Zahl gleichzeitiger Modellaufrufe liegt unter dem Kontingent des Deployments chat. |
R | 48 (Rechnung unten) gegen Kontingent | Muss | R-08, M-11 |
| 2.10-05 | Anfragen gehen bei einer Lastspitze nicht verloren. | R | 0 verlorene Nachrichten | Muss | M-10 |