Das Gruppenreise-Team der Nordlicht Reisen GmbH läuft mit sieben Agenten, drei MCP-Servern, einer Warteschlange und einer Container App (M-03, M-04, M-10). Ein Lauf kann nach Wochen langsamer, teurer oder schlechter werden, ohne dass etwas ausfällt: ein neuer Prompt, ein anderes Deployment, ein Lieferant mit neuer Antwort. Die Lektion fragt, woran Sie das merken, bevor die Planerin es merkt, und was dann zu tun ist. Sie baut auf der Spurenkonvention aus Lektion 1.4 auf.
Vorwissen. Spuren und Application Insights: „KI-Track, Lektion T10.2“; Drift und Modellwechsel: „T10.4“; Messplan, Alarm auf 429: „AI-103, Lektion 1.3“; Beobachtung von Foundry und Application Insights: „AI-103, Lektion 2.8“; Application Insights: „K3, Lektion 3.4.2“, Dead Letter: „K3, Lektion 3.5.5“. Die Konvention aus „Lektion 1.4“, die Anmerkungen aus „3.1“ und die Zeiten aus „3.3“ gelten und werden nicht wiederholt.
Neu in dieser Lektion. (1) Jeder Agenten-Span trägt zusätzlich agentVersion (aus der Konfiguration, F-07). (2) Die Rückschrittsregel (Annahmen): mindestens 30 Läufe der neuen Version, 95. Perzentil höchstens das 1,25-fache der alten, Fehlerquote höchstens 5 Prozentpunkte mehr. (3) Zwei Alarmstufen: Warnung (Planerin und Betrieb) und Ausfall (Betrieb sofort). (4) Prompts und Antworten stehen in der Produktion nie in Spuren (T10.2).
Die Anforderung
Alle Zahlen sind Annahmen der Aufgabe.
| Nr. | Anforderung | Art | Messgröße | Gewicht | Quelle |
|---|---|---|---|---|---|
| 3.4-01 | Jeder Lauf hat genau eine Spur; jeder Span trägt mandantId, laufId, agent, agentVersion. |
F | 100 % der eigenen Spans | Muss | M-11, 1.4 |
| 3.4-02 | Ein Ausfall des Teams (Fehlerquote der Läufe, wachsende Warteschlange) wird binnen 15 Minuten gemeldet. | Q | 15 Minuten | Muss | Betrieb |
| 3.4-03 | Eine neue Agentenversion mit Rückschritt wird im Canary erkannt, bevor sie alle Läufe bekommt. | Q | Regel erfüllt, vor 100 % | Muss | F-07 |
| 3.4-04 | Drift wird monatlich an Qualität, Tokens und Rückmeldungen gemessen. | Q | 1 Bericht im Monat | Soll | T10.4 |
| 3.4-05 | Zu jedem Alarm gibt es Abhilfe und Zuständige. | F | Tabelle vollständig | Muss | Betrieb |
| 3.4-06 | Keine Inhalte von Prompts oder Antworten in Spuren der Produktion; mandantId nur als Schlüssel. |
R | 0 Inhalte | Muss | M-07, T10.2 |
Kostenrahmen. Kostentreiber: Application Insights je Gigabyte (Spuren, Metriken, Protokolle), Abfragen und Alarmregeln, Aufbewahrung. Preise: Preisseite von Azure Monitor.