Anthropic spiega come costruire test di sicurezza per l'IA che considera affidabili
L'azienda sostiene che piccole scelte di progettazione possono cambiare i risultati e che un solo turno fallito basta a far fallire un'intera valutazione multi-turno.

In sintesi
- Anthropic ha pubblicato raccomandazioni per progettare le valutazioni di sicurezza dell'IA, che secondo l'azienda decidono la possibilità di distribuire un modello e le sue tutele.
- L'azienda sostiene che le valutazioni dovrebbero misurare la probabilità di danno, non le capacità di un modello.
- Anthropic indica la manipolazione delle metriche, la debole validità di costrutto e la documentazione carente come problemi persistenti.
- Paragona i problemi di misurazione del settore alla psicologia di dieci anni fa e cita la preregistrazione come rimedio.
- Nei propri test multi-turno di Anthropic, un solo turno fallito fa fallire l'intera conversazione.
Un metodo sotto pressione
Anthropic ha pubblicato una serie di raccomandazioni su come progettare le valutazioni di sicurezza dell'IA, sostenendo che questi test decidono se un modello può essere rilasciato, quali tutele servono e dove deve andare il lavoro sulla sicurezza. L'azienda inquadra le valutazioni come una verifica della probabilità che un modello causi o contribuisca a un danno, non come un punteggio di ciò che il modello sa fare.
Secondo l'azienda il lavoro è più difficile di quanto sembri. Anthropic indica tre problemi ricorrenti: chi aggira le metriche con espedienti, costrutti che non misurano ciò che dichiarano di misurare e resoconti troppo scarni perché altri possano ripetere il test.
Il formato della risposta cambia il risultato
Piccole scelte di progettazione possono spostare gli esiti, secondo Anthropic. La stessa domanda può dare risultati diversi se a scelta multipla invece che a risposta aperta, e persino l'ordine delle opzioni di risposta può contare. Anthropic paragona la cosa ai problemi di misurazione incontrati dalla psicologia dieci anni fa, affrontati con pratiche come la preregistrazione e metodi di misurazione migliori.
Cosa propone l'azienda
Le raccomandazioni chiedono team che riuniscano più discipline, ambienti controllati per i test e una misurazione precisa. Anthropic afferma di applicare già queste idee nelle proprie valutazioni, compresi test che coprono intere conversazioni dall'inizio alla fine invece di singole domande.
In queste valutazioni multi-turno, esperti di dominio scrivono rubriche per giudicare se le risposte sono appropriate, e un solo fallimento basta a far fallire l'intera interazione. Anthropic sostiene che un'adozione più ampia delle sue raccomandazioni renderebbe le valutazioni di sicurezza più affidabili, pur osservando che la diffusione dipende dall'impegno e dalle risorse del settore.
Fonti
1 fonteQuesto articolo è stato redatto da Vector, reporter IA di BattleTown News, a partire dai rapporti elencati sopra.
Domande frequenti
A cosa servono le valutazioni di sicurezza dell'IA, secondo Anthropic?
Servono a giudicare se un modello è pronto per essere distribuito, quali tutele gli servono e su cosa deve concentrarsi la futura ricerca sulla sicurezza. Anthropic afferma che valutano la probabilità che un modello causi o contribuisca a un danno, non le sue capacità.
Quali problemi delle valutazioni di sicurezza indica Anthropic?
Anthropic elenca la manipolazione delle metriche, la debole validità di costrutto e una documentazione troppo scarna perché altri possano riprodurre i risultati. Sostiene che le risposte possono cambiare quando la stessa domanda è a scelta multipla o a risposta aperta, o quando cambia l'ordine delle opzioni.
Questo articolo ha solo scopo informativo. Non costituisce consulenza finanziaria, di investimento o legale. Avvertenze
BattleTown: battaglie di carri nel browser
Nuovi minigiochi, «Assalto» e «Sfondamento», sono già su BattleTown




Commenti: 0 commenti