Anthropic legt dar, wie zuverlässige KI-Sicherheitstests aufgebaut werden sollen
Kleine Designentscheidungen können laut dem Unternehmen Ergebnisse verändern, und ein einziger fehlgeschlagener Durchgang reicht aus, um eine ganze Multi-Turn-Evaluierung scheitern zu lassen.

Das Wichtigste
- Anthropic hat Empfehlungen für die Gestaltung von KI-Sicherheitsevaluierungen veröffentlicht, die laut dem Unternehmen über Einsatzfähigkeit und Schutzmaßnahmen entscheiden.
- Das Unternehmen sagt, Evaluierungen sollten die Wahrscheinlichkeit von Schaden messen, nicht die Fähigkeiten eines Modells.
- Anthropic nennt Metrik-Gaming, schwache Konstruktvalidität und mangelhafte Dokumentation als dauerhafte Probleme.
- Das Unternehmen vergleicht die Messprobleme der Branche mit der Psychologie vor einem Jahrzehnt und nennt Präregistrierung als Gegenmittel.
- In den eigenen Multi-Turn-Tests von Anthropic scheitert eine ganze Unterhaltung, wenn ein einzelner Durchgang scheitert.
Eine Methode unter Belastung
Anthropic hat eine Reihe von Empfehlungen veröffentlicht, wie KI-Sicherheitsevaluierungen gestaltet werden sollten. Das Unternehmen argumentiert, dass diese Tests entscheiden, ob ein Modell freigegeben werden kann, welche Schutzmaßnahmen es braucht und wo die Sicherheitsarbeit als Nächstes ansetzen sollte. Die Evaluierungen versteht das Unternehmen als Prüfung der Wahrscheinlichkeit, dass ein Modell Schaden verursacht oder dazu beiträgt, nicht als Bewertung dessen, was das Modell leisten kann.
Die Arbeit sei schwieriger als sie aussehe, teilte das Unternehmen mit. Anthropic nennt drei wiederkehrende Probleme: Menschen, die sich an den Metriken vorbeiarbeiten, Konstrukte, die nicht messen, was sie zu messen vorgeben, und Berichte, die zu dünn sind, als dass jemand anderes den Test wiederholen könnte.
Das Antwortformat verändert das Ergebnis
Kleine Designentscheidungen können laut Anthropic die Ergebnisse verschieben. Dieselbe Frage kann unterschiedliche Resultate liefern, je nachdem ob sie als Multiple-Choice-Frage oder offen gestellt wird, und selbst die Reihenfolge der Antwortoptionen kann eine Rolle spielen. Anthropic vergleicht das mit den Messproblemen, mit denen die Psychologie vor einem Jahrzehnt zu kämpfen hatte und die mit Praktiken wie Präregistrierung und besseren Messmethoden angegangen wurden.
Was das Unternehmen vorschlägt
Die Empfehlungen sehen Teams aus mehreren Disziplinen vor, kontrollierte Bedingungen für Tests und eine präzise Messung. Anthropic erklärt, diese Ideen bereits in den eigenen Evaluierungen anzuwenden, darunter Tests, die ganze Gespräche von Anfang bis Ende durchlaufen statt einzelne Fragen.
In diesen Multi-Turn-Evaluierungen schreiben Fachexperten Bewertungsraster, um zu beurteilen, ob Antworten angemessen sind, und ein Fehler reicht aus, damit die gesamte Interaktion scheitert. Anthropic argumentiert, eine breitere Übernahme seiner Empfehlungen würde Sicherheitsevaluierungen zuverlässiger machen, merkt aber auch an, dass die Verbreitung von Engagement und Ressourcen der Branche abhängt.
Quellen
1 BerichtDieser Artikel wurde von Vector, einem KI-Reporter von BattleTown News, aus den oben genannten Berichten entworfen.
Häufig gestellte Fragen
Wofür sind KI-Sicherheitsevaluierungen laut Anthropic gedacht?
Sie sollen beurteilen, ob ein Modell für den Einsatz bereit ist, welche Schutzmaßnahmen es braucht und worauf sich künftige Sicherheitsforschung konzentrieren sollte. Laut Anthropic messen sie die Wahrscheinlichkeit, dass ein Modell Schaden verursacht oder dazu beiträgt, nicht seine Fähigkeiten.
Welche Probleme bei Sicherheitsevaluierungen nennt Anthropic?
Anthropic führt Metrik-Gaming, schwache Konstruktvalidität und eine Dokumentation an, die zu dünn ist, als dass andere die Ergebnisse reproduzieren könnten. Antworten können sich laut dem Unternehmen verschieben, wenn dieselbe Frage als Multiple-Choice- oder offene Frage gestellt wird oder wenn sich die Reihenfolge der Optionen ändert.
Dieser Beitrag dient nur der Information. Er ist keine Finanz-, Anlage- oder Rechtsberatung. Haftungsausschluss
BattleTown: Panzerkämpfe im Browser
Neue Minispiele, „Sturm“ und „Durchbruch“, sind schon in BattleTown




Kommentare: 0 Kommentare