M-12 gibt dem Gruppenreise-Team einen Testsatz mit 60 Fällen, zehn davon bösartig. Er ist von Hand geschrieben, und das heißt: Er findet, was seine Autorinnen sich vorstellen konnten. Der AI Red Teaming Agent von Foundry erzeugt Angriffe automatisch und in großer Zahl und verspricht damit, Risiken zu finden, bevor eine Agenten-Version Kundinnen erreicht („shift left“ bei Learn). Die Lektion fragt: Was kann er für unser Team leisten, was kann er nach der Dokumentation nicht, und wie fügt man ihn in den Ablauf der Auslieferung?
Vorwissen. Prompt-Injection und Angriffssätze: „KI-Track, Lektion T6.1“ und „T6.2“. Harte Regeln im Code: „KI-Track, Lektion T6.4“. Evaluation im Build: „KI-Track, Lektion T9.5“. Risiko- und Sicherheitsevaluatoren, Region und Grenzen der Bewertung: „AI-103, Lektion 1.5“. Python lesen: „AI-103, Lektion 0.3“. Die Gestaltung der Guardrails folgt in Lektion 4.4, ihre Tests in 4.5, die Pipeline in 4.7.
Neu in dieser Lektion. Die Scans laufen in einer Prüfumgebung (bei Learn: „purple environment“, eine Nicht-Produktionsumgebung mit produktionsähnlichen Ressourcen): Ressourcengruppe rg-ai500-rotteam, Foundry-Ressource mit Projekt gruppenreisen-rotteam. Das ist keine fünfte Umgebung des Falls und ändert M-09 nicht. Dorthin werden die Agenten-Versionen aus gruppenreisen kopiert; die Region ist offen (Entscheidung 2). Jeder Scan trägt den Namen des Agenten und seine Version.
Die Anforderung
Alle Zahlen sind Annahmen der Aufgabe.
| Nr. | Anforderung | Art | Messgröße | Gewicht | Quelle |
|---|---|---|---|---|---|
| 4.3-01 | Jede neue Agenten-Version wird vor der Abnahme gescannt. | R | 7 Agenten, 100 % der neuen Versionen | Muss | F-05 |
| 4.3-02 | Jeder erfolgreiche Angriff wird von einem Menschen gelesen. | R | 100 % | Muss | Qualität |
| 4.3-03 | Jeder bestätigte Befund wird ein Testfall und, wo nötig, eine Regel. | R | 0 Befunde ohne Testfall | Muss | M-12 |
| 4.3-04 | Scans nutzen nur erfundene Daten, nichts aus dem Betrieb. | R | 0 echte Daten | Muss | M-12, R-12 |
| 4.3-05 | Scans laufen in der EU. | R | Region in der EU | Muss | M-08 |
| 4.3-06 | Nach der Auslieferung läuft ein planmäßiger Scan. | Q | monatlich | Soll | F-06 |
Kostentreiber: Modellaufrufe der Angriffe und der Bewertung je Lauf, die Prüfumgebung (Foundry-Ressource, Deployments). Preise: die Preisseiten.