AI1 Min. Lesezeit0 Kommentare

Anthropic legt dar, wie zuverlässige KI-Sicherheitstests aufgebaut werden sollen

Kleine Designentscheidungen können laut dem Unternehmen Ergebnisse verändern, und ein einziger fehlgeschlagener Durchgang reicht aus, um eine ganze Multi-Turn-Evaluierung scheitern zu lassen.

KI und Altcoins
Veröffentlicht
KI-SICHERHEIT: ANTHROPIC

Das Wichtigste

  • Anthropic hat Empfehlungen für die Gestaltung von KI-Sicherheitsevaluierungen veröffentlicht, die laut dem Unternehmen über Einsatzfähigkeit und Schutzmaßnahmen entscheiden.
  • Das Unternehmen sagt, Evaluierungen sollten die Wahrscheinlichkeit von Schaden messen, nicht die Fähigkeiten eines Modells.
  • Anthropic nennt Metrik-Gaming, schwache Konstruktvalidität und mangelhafte Dokumentation als dauerhafte Probleme.
  • Das Unternehmen vergleicht die Messprobleme der Branche mit der Psychologie vor einem Jahrzehnt und nennt Präregistrierung als Gegenmittel.
  • In den eigenen Multi-Turn-Tests von Anthropic scheitert eine ganze Unterhaltung, wenn ein einzelner Durchgang scheitert.

Eine Methode unter Belastung

Anthropic hat eine Reihe von Empfehlungen veröffentlicht, wie KI-Sicherheitsevaluierungen gestaltet werden sollten. Das Unternehmen argumentiert, dass diese Tests entscheiden, ob ein Modell freigegeben werden kann, welche Schutzmaßnahmen es braucht und wo die Sicherheitsarbeit als Nächstes ansetzen sollte. Die Evaluierungen versteht das Unternehmen als Prüfung der Wahrscheinlichkeit, dass ein Modell Schaden verursacht oder dazu beiträgt, nicht als Bewertung dessen, was das Modell leisten kann.

Die Arbeit sei schwieriger als sie aussehe, teilte das Unternehmen mit. Anthropic nennt drei wiederkehrende Probleme: Menschen, die sich an den Metriken vorbeiarbeiten, Konstrukte, die nicht messen, was sie zu messen vorgeben, und Berichte, die zu dünn sind, als dass jemand anderes den Test wiederholen könnte.

Das Antwortformat verändert das Ergebnis

Kleine Designentscheidungen können laut Anthropic die Ergebnisse verschieben. Dieselbe Frage kann unterschiedliche Resultate liefern, je nachdem ob sie als Multiple-Choice-Frage oder offen gestellt wird, und selbst die Reihenfolge der Antwortoptionen kann eine Rolle spielen. Anthropic vergleicht das mit den Messproblemen, mit denen die Psychologie vor einem Jahrzehnt zu kämpfen hatte und die mit Praktiken wie Präregistrierung und besseren Messmethoden angegangen wurden.

Was das Unternehmen vorschlägt

Die Empfehlungen sehen Teams aus mehreren Disziplinen vor, kontrollierte Bedingungen für Tests und eine präzise Messung. Anthropic erklärt, diese Ideen bereits in den eigenen Evaluierungen anzuwenden, darunter Tests, die ganze Gespräche von Anfang bis Ende durchlaufen statt einzelne Fragen.

In diesen Multi-Turn-Evaluierungen schreiben Fachexperten Bewertungsraster, um zu beurteilen, ob Antworten angemessen sind, und ein Fehler reicht aus, damit die gesamte Interaktion scheitert. Anthropic argumentiert, eine breitere Übernahme seiner Empfehlungen würde Sicherheitsevaluierungen zuverlässiger machen, merkt aber auch an, dass die Verbreitung von Engagement und Ressourcen der Branche abhängt.

Quellen

1 Bericht
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Dieser Artikel wurde von Vector, einem KI-Reporter von BattleTown News, aus den oben genannten Berichten entworfen.

Häufig gestellte Fragen

Wofür sind KI-Sicherheitsevaluierungen laut Anthropic gedacht?

Sie sollen beurteilen, ob ein Modell für den Einsatz bereit ist, welche Schutzmaßnahmen es braucht und worauf sich künftige Sicherheitsforschung konzentrieren sollte. Laut Anthropic messen sie die Wahrscheinlichkeit, dass ein Modell Schaden verursacht oder dazu beiträgt, nicht seine Fähigkeiten.

Welche Probleme bei Sicherheitsevaluierungen nennt Anthropic?

Anthropic führt Metrik-Gaming, schwache Konstruktvalidität und eine Dokumentation an, die zu dünn ist, als dass andere die Ergebnisse reproduzieren könnten. Antworten können sich laut dem Unternehmen verschieben, wenn dieselbe Frage als Multiple-Choice- oder offene Frage gestellt wird oder wenn sich die Reihenfolge der Optionen ändert.

Dieser Beitrag dient nur der Information. Er ist keine Finanz-, Anlage- oder Rechtsberatung. Haftungsausschluss

Kommentare: 0 Kommentare

BattleTown: Panzerkämpfe im Browser

Neue Minispiele, „Sturm“ und „Durchbruch“, sind schon in BattleTown

Zurück zur Übersicht

Lesen Sie auch

Geben Sie mindestens 2 Zeichen ein