Der Reiseassistent läuft, und die Fragen der Technik und des Chefs sind dieselben: Was kostet ein Weg durch das System, wo wird er langsam, und muss jede Frage das große Modell wecken? Dazu kommen die Hausregeln: kein Modellaufruf ohne Zähler (R-11), Erstattungen, Rechtsfragen und gesperrte Konten immer an einen Menschen (R-02).
Vorwissen. „KI-Track, Lektion T10.2“ zeigt Traces, Spans und die GenAI-Attribute, „T2.4“ die Middleware, die misst und zählt, „T10.3“ Budgets und Deckel, „T6.4“ harte Regeln im Code, „T7.4“ Workflows. „Lektion 1.3“ dieses Kurses behandelt Kontingente, Kosten und die Überwachung der Plattform. Hier: was Foundry und Application Insights mitbringen, die eigene Weiche und Foundrys Modell-Router daneben.
Neu in dieser Lektion. Die Anwendung hat eine Weiche mit drei Wegen: Mensch (Regel, kein Modell), Klein (Deployment chat-klein) und Gross (Deployment chat). Jeder Weg trägt seinen Namen als Tag am Span.
Die Anforderung
Alle Zahlen sind Annahmen der Aufgabe.
| Nr. | Anforderung | Art | Messgröße | Gewicht | Quelle |
|---|---|---|---|---|---|
| 2.8-01 | Eine Anfrage lässt sich von der Anwendung bis zu Modell und Werkzeug in einem Trace verfolgen. | F | 1 Trace je Anfrage | Muss | Betrieb |
| 2.8-02 | Token sind je Deployment und je Weg sichtbar. | Q | Abfrage je Woche | Muss | Kosten (R-09, R-11) |
| 2.8-03 | Sicherheitssignale (blockierte Anfragen) sind sichtbar. | Q | Warnung bei Anstieg | Soll | Sicherheit |
| 2.8-04 | Latenz ist je Weg sichtbar. | Q | 95. Perzentil je Weg | Soll | Kundschaft |
| 2.8-05 | Erstattung, Recht, gesperrtes Konto: kein Modellaufruf. | R | 0 Aufrufe | Muss | Recht (R-02) |
| 2.8-06 | Der Text von Fragen steht im Betrieb nicht in Traces. | R | 0 Inhalte | Muss | Datenschutz (R-12) |
Kostenrahmen. Application Insights je Gigabyte, Token je Million und Deployment (beim Modell-Router die des gewählten Modells). Preise: Preisseiten von Azure Monitor und Foundry.