Das Gruppenreise-Team der Nordlicht Reisen GmbH hat einen Testsatz mit 60 Fällen, davon 10 bösartige (M-12), und F-06 verlangt drei Dinge: den Testsatz im Build, menschliche Prüfung in Foundry und Stichproben aus der Produktion mit Rückmeldung der Planerin. Diese Lektion klärt die ersten beiden und fragt, was in einem Team eigentlich bewertet wird. Eine Gesamtnote für den Angebotsentwurf sagt nicht, ob das Gedächtnis eine fremde Kundin geliefert, der Index die falsche Klausel gefunden oder ein Werkzeug falsche Argumente bekommen hat. Die Stichproben und die Verbesserungsschleife folgen in Lektion 3.2.

Vorwissen. „AI-103, Lektion 2.6“ zeigt die eingebauten Evaluatoren von Foundry (Agent, Qualität, Sicherheit), den Lauf gegen eine Agentenversion, die laufende Stichprobe und die Suche nach Fehlermustern. „KI-Track, Lektion T9.1“ baut den Testsatz, „T9.2“ misst mit Microsoft.Extensions.AI.Evaluation, „T9.4“ misst das Richter-Modell gegen Menschen (Übereinstimmung, Verzerrungen), „T9.5“ legt das Qualitätstor in den Build. Davon wird nichts wiederholt. Neu ist die Sicht auf ein Team: mehrere Agenten, mehrere Quellen, ein Lauf.

Neu in dieser Lektion. (1) Jeder Fall des Testsatzes trägt zusätzlich die Liste erwarteteWerkzeuge (Namen wie in Lektion 1.1). (2) Das Prüfblatt der Planerin hat vier Fragen (unten). (3) Zur Veröffentlichung prüfen zwei Personen eine Stichprobe von 20 der 60 Fälle (Annahme der Aufgabe). Der Testsatz selbst und F-06 bleiben unverändert.

Die Anforderung

Alle Zahlen sind Annahmen der Aufgabe.

Nr. Anforderung Art Messgröße Gewicht Quelle
3.1-01 Zu jeder Art von Änderung (Prompt, Werkzeugbeschreibung, Index, Gedächtnis) gibt es einen Prüfplan, welche Prüfungen vor der Freigabe laufen. F Plan je Änderungsart Muss F-06
3.1-02 Zwei Personen prüfen vor einer Veröffentlichung 20 von 60 Fällen. Q 20 Fälle, 2 Prüfende Soll F-06
3.1-03 Kein Entwurf und kein Gedächtnistreffer enthält Daten einer anderen Kundin. R 0 Treffer im Testsatz Muss M-07
3.1-04 Die erwarteten Werkzeuge eines Falls werden aufgerufen. Q 90 % der Fälle Soll M-04
3.1-05 Ein durchgefallener Lauf lässt sich einem Agenten zuordnen. F Teilergebnis je Agent Muss M-03

Kostenrahmen. Kostentreiber: Token des Richter-Modells je Fall und Evaluator, Zeit der Prüfenden, Application Insights je Gigabyte. Preise: Preisseiten von Foundry und Azure Monitor. Alle Daten sind erfunden (M-12).