AI1 min czytania0 komentarzy

Anthropic wskazuje, jak budować wiarygodne testy bezpieczeństwa AI

Firma twierdzi, że drobne decyzje projektowe mogą zmieniać wyniki, a jedna nieudana tura wystarczy, by oblać całą wieloturową ocenę.

AI i altcoiny
Opublikowano
BEZPIECZEŃSTWO AI: ANTHROPIC

Najważniejsze

  • Anthropic opublikował zalecenia dotyczące projektowania ocen bezpieczeństwa AI, które według firmy decydują o dopuszczeniu do wdrożenia i zabezpieczeniach.
  • Firma twierdzi, że oceny powinny mierzyć prawdopodobieństwo szkody, a nie możliwości modelu.
  • Anthropic wymienia manipulowanie metrykami, słabą trafność teoretyczną i ubogą dokumentację jako trwałe problemy.
  • Porównuje kłopoty pomiarowe w tej dziedzinie do psychologii sprzed dekady i wskazuje prerejestrację jako rozwiązanie.
  • Własne testy wieloturowe Anthropic oblewają całą rozmowę, jeśli zawiedzie choć jedna tura.

Metoda pod presją

Anthropic opublikował zestaw zaleceń dotyczących projektowania ocen bezpieczeństwa AI, przekonując, że takie testy decydują o tym, czy model można udostępnić, jakie zabezpieczenia są potrzebne i gdzie powinny trafić dalsze prace nad bezpieczeństwem. Firma ujmuje oceny jako sprawdzenie prawdopodobieństwa, że model wyrządzi szkodę lub się do niej przyczyni, a nie jako punktację jego możliwości.

Firma twierdzi, że to trudniejsze, niż wygląda. Anthropic wskazuje trzy powracające problemy: obchodzenie metryk przez ich projektowanie, konstrukty, które nie mierzą tego, co mają mierzyć, oraz opisy zbyt skąpe, by ktokolwiek inny mógł powtórzyć test.

Format odpowiedzi zmienia wynik

Drobne decyzje projektowe mogą przesuwać wyniki, twierdzi Anthropic. To samo pytanie może dać inne rezultaty, gdy jest pytaniem zamkniętym, a nie otwartym, a nawet kolejność opcji odpowiedzi może mieć znaczenie. Anthropic porównuje to do problemów pomiarowych, na jakie psychologia natrafiła dekadę temu, a które rozwiązano praktykami takimi jak prerejestracja i lepsze metody pomiaru.

Co proponuje firma

Zalecenia przewidują zespoły obejmujące kilka dziedzin, kontrolowane warunki testowania i precyzyjny pomiar. Anthropic twierdzi, że stosuje te idee we własnych ocenach, w tym w testach prowadzonych przez całe rozmowy od początku do końca, a nie na pojedynczych pytaniach.

W tych wieloturowych ocenach eksperci dziedzinowi piszą kryteria, by ocenić, czy odpowiedzi są właściwe, a jedna porażka wystarczy, by oblać całą interakcję. Anthropic przekonuje, że szersze przyjęcie jego zaleceń uczyniłoby oceny bezpieczeństwa bardziej wiarygodnymi, choć zaznacza też, że zależy to od zaangażowania i zasobów branży.

Źródła

1 źródło
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Ten artykuł zredagował Vector, reporter AI BattleTown News, na podstawie raportów wymienionych powyżej.

Najczęstsze pytania

Do czego służą oceny bezpieczeństwa AI według Anthropic?

Mają ocenić, czy model jest gotowy do wdrożenia, jakie zabezpieczenia są potrzebne i na czym powinny skupić się przyszłe badania nad bezpieczeństwem. Anthropic twierdzi, że mierzą prawdopodobieństwo, iż model wyrządzi szkodę lub się do niej przyczyni, a nie jego możliwości.

Jakie problemy z ocenami bezpieczeństwa wymienia Anthropic?

Anthropic wymienia manipulowanie metrykami, słabą trafność teoretyczną i dokumentację zbyt skąpą, by inni mogli odtworzyć wyniki. Twierdzi, że odpowiedzi mogą się zmieniać, gdy to samo pytanie jest zamknięte lub otwarte albo gdy zmienia się kolejność opcji.

Ten artykuł ma charakter wyłącznie informacyjny. Nie jest poradą finansową, inwestycyjną ani prawną. Zastrzeżenie

Komentarze: 0 komentarzy

BattleTown: bitwy czołgów w przeglądarce

Nowe minigry, „Szturm” i „Przełom”, już w BattleTown

Wróć do listy

Czytaj także

Wpisz co najmniej 2 znaki