LLM als Richter, mit Vorsicht

Das lernen Sie in dieser Lektion

• die typischen Verzerrungen eines Richter-Modells nennen und erkennen: Milde, Länge, Reihenfolge, Vorliebe für eigene Antworten, Anweisungen im Text
• die Übereinstimmung eines Richters mit menschlichen Urteilen messen: gleiche Urteile, Cohen's Kappa, falsch bestandene Fälle
• begründen, ab welcher Übereinstimmung ein Richter taugt, und die Prüfung in docs/evaluation.md festhalten
• ein kleines und ein größeres Richter-Modell auf demselben Testsatz vergleichen, ohne das bewertete Modell neu zu fragen
• die Sicherheits-Evaluatoren und den Evaluation-Dienst von Foundry im Überblick einordnen