Der Reiseassistent hat einen Testsatz mit 40 Fällen und Evaluation im Build (R-10). Jetzt gibt es den Agenten reiseassistent (Version 3) im Foundry Agent Service, und die Fragen lauten: Welche Version darf live? Wird sie im Betrieb schlechter? Und wenn Fälle durchfallen: woran liegt es?

Vorwissen. „KI-Track, Lektion T9.1“ baut den Testsatz, „T9.2“ misst mit Microsoft.Extensions.AI.Evaluation, „T9.4“ untersucht das Richter-Modell (Verzerrungen, Übereinstimmung mit Menschen) und nennt Foundrys Evaluation im Überblick, „T9.5“ legt das Qualitätstor in den Build, „T10.2“ zeigt Traces, „T10.4“ Drift und den Wechsel eines Modells. Hier: die Foundry-Seite, also eingebaute Evaluatoren, Läufe im Projekt, Beobachtung im Betrieb und die Suche nach Fehlermustern.

Die Anforderung

Alle Zahlen sind Annahmen der Aufgabe.

Nr. Anforderung Art Messgröße Gewicht Quelle
2.6-01 Der Testsatz (40 Fälle, R-10) läuft gegen jede Agentenversion, bevor sie live geht. Q Task Adherence: 90 % der Fälle bestehen Muss Qualität
2.6-02 Kein Fall des Testsatzes verletzt die Sicherheits-Evaluatoren. R 0 durchgefallene Sicherheitsfälle Muss Recht
2.6-03 Erstattungs- und Rechtsfragen bestehen nie durch ein Modell: Sie sind Regeln im Code (R-02). R Unit-Tests, nicht Modellbewertung Muss Recht
2.6-04 Im Betrieb wird eine Stichprobe der echten Antworten laufend bewertet. Q Stichprobe je Stunde: 20 Läufe Soll Betrieb
2.6-05 Durchgefallene Fälle sind nach Mustern auffindbar, nicht nur einzeln. Q Muster benannt in einem Arbeitstag Soll Entwicklung

Kostenrahmen. Token je Million je bewertetem Fall und Evaluator (Richter-Modell), Token der Clusteranalyse, Application Insights je Gigabyte. Preise: Preisseiten von Foundry und Azure Monitor. Alle Bewertungsdaten sind erfunden (R-12).