// KÜNSTLICHE INTELLIGENZ
Halluzination messen: Wie baut man ein Eval-Set?
7 Min. Lesezeitnijitech
„Das Modell erfindet manchmal etwas" ist eine Beobachtung, keine Messung. Ein Problem, das Sie nicht messen, können Sie auch nicht als behoben behaupten. Der praktische Weg zu einem Evaluationsset.
Ganzer Beitrag
Einer der häufigsten Sätze in KI-Projekten lautet: „Das Modell erfindet manchmal etwas." Das ist eine Beobachtung, keine Messung. Sie sagt nicht, wie oft es erfindet, bei welcher Art von Fragen — und ob die Änderung von gestern das vermehrt oder vermindert hat.
Ein Problem, das Sie nicht messen, können Sie auch nicht als behoben behaupten. Das Evaluationsset — kurz Eval — schließt genau diese Lücke: eine Testmenge aus vorab bekannten Fragen und erwarteten Antworten, die nach jeder Änderung erneut läuft.
1. Die Beispiele müssen echt sein, nicht repräsentativ gedacht
Der erste Fehler beim Eval-Set passiert meist hier: Die Fragen werden am Schreibtisch erfunden. Ins Set gehören aber die Eingaben, denen das System tatsächlich begegnet — echte Fragen von Nutzerinnen, echte eingehende Dokumente, echte aufgetretene Grenzfälle.
Was in einem guten Set enthalten sein muss
- Häufige Normalfälle — dort liegt der größte Teil des Volumens
- Bekannte Grenzfälle: fehlendes Feld, unerwartetes Format, sehr lange Eingabe
- Beispiele, bei denen es bekanntermaßen schon einmal falsch lief — jeder behobene Fehler kommt ins Set
- Fragen, deren Antwort „Ich weiß es nicht" lauten muss
Der letzte Punkt wird am häufigsten übersprungen und hilft am meisten. Dass ein Modell weiß, wann es schweigen sollte, ist so wichtig wie eine richtige Antwort.
2. Die erwartete Antwort muss geschrieben werden
Für jedes Beispiel wird vorab festgehalten, was die richtige Antwort ist. Bei Systemen, die Freitext erzeugen, wirkt das schwierig, aber meist lässt sich statt der vollständigen Antwort definieren, was sie enthalten und was sie nicht enthalten muss: „muss diese Zahl nennen", „muss auf diese Quelle verweisen", „darf keine Preiszusage machen".
3. Die Bewertung darf nicht auf eine Zahl schrumpfen
Eine einzige Erfolgsquote beruhigt, führt aber in die Irre. Neunzig Prozent Erfolg sagt nichts darüber, bei welcher Art von Fragen sich die restlichen zehn sammeln. Wird das Set in Kategorien geteilt und jede Kategorie einzeln bewertet, wird sichtbar, wo der Einbruch liegt.
Für Halluzination braucht es ein eigenes Kriterium: Wurde eine Information ohne Quelle erzeugt? Das ist nicht dasselbe wie „die Antwort war falsch". Eine falsche Antwort ist ein Genauigkeitsproblem; eine quellenlose Antwort ist ein Vertrauensproblem.
4. Das Set muss nach jeder Änderung laufen
Der eigentliche Wert eines Eval-Sets zeigt sich nicht beim ersten Lauf, sondern beim zweiten. Wenn das Modell wechselt, der Prompt aktualisiert oder der Kontext beschnitten wird, läuft das Set erneut und sagt, welche Kategorie zurückgefallen ist.
Das ist dasselbe wie der Regressionstest in der Softwareentwicklung. Mit einem Unterschied: In der Software liefert dieselbe Eingabe dieselbe Ausgabe, beim Modell nicht unbedingt. Deshalb sollte die Schwelle nicht auf einen einzelnen Lauf schauen, sondern auf den Durchschnitt wiederholter Läufe.
Wo anfangen
Was in der ersten Woche machbar ist
- Sammeln Sie dreißig Beispiele aus den echten Eingaben des letzten Monats
- Schreiben Sie zu jedem, was die erwartete Antwort enthalten und was sie nicht enthalten muss
- Teilen Sie die Beispiele in drei bis vier Kategorien
- Lassen Sie es einmal laufen; diese Zahl ist weder gut noch schlecht, nur Ihr Ausgangspunkt
Dreißig Beispiele wirken wenig, sind aber unendlich viel besser als null. Der eigentliche Gewinn beginnt beim zweiten Lauf.
In diesem Beitrag erwähnte Produkte
Aus dem Glossar: Halluzination · Bewertungssatz (Eval)