AI1 min de leitura0 comentário

Anthropic explica como criar testes de segurança de IA que considera confiáveis

A empresa diz que pequenas escolhas de design podem mudar resultados, e uma única falha basta para reprovar uma avaliação de vários turnos.

IA e altcoins
Publicado
SEGURANÇA DE IA: ANTHROPIC

Pontos principais

  • A Anthropic publicou recomendações para o design de avaliações de segurança de IA, que, segundo ela, definem a possibilidade de implantação e as salvaguardas.
  • A empresa diz que as avaliações devem medir a probabilidade de dano, não as capacidades de um modelo.
  • A Anthropic aponta manipulação de métricas, validade de construto fraca e documentação deficiente como problemas persistentes.
  • Ela compara os problemas de medição da área com a psicologia de uma década atrás e cita o pré-registro como solução.
  • Os próprios testes de vários turnos da Anthropic reprovam uma conversa inteira se um único turno falhar.

Um método sob pressão

A Anthropic publicou um conjunto de recomendações sobre como as avaliações de segurança de IA devem ser projetadas, argumentando que esses testes definem se um modelo pode ser lançado, quais proteções ele precisa e para onde o trabalho de segurança deve seguir. A empresa enquadra as avaliações como uma verificação da probabilidade de que um modelo cause ou contribua para um dano, não como uma nota do que o modelo é capaz de fazer.

A empresa afirmou que o trabalho é mais difícil do que parece. A Anthropic aponta três problemas recorrentes: pessoas que contornam as métricas por meios técnicos, construtos que não medem o que afirmam medir e relatos superficiais demais para que outra pessoa repita o teste.

O formato da resposta muda o resultado

Pequenas escolhas de design podem alterar os resultados, segundo a Anthropic. A mesma pergunta pode produzir resultados diferentes quando é de múltipla escolha em vez de aberta, e até a ordem das opções de resposta pode importar. A Anthropic compara isso aos problemas de medição que a psicologia enfrentou uma década atrás, resolvidos com práticas como o pré-registro e métodos de medição melhores.

O que a empresa propõe

As recomendações pedem equipes de várias disciplinas, ambientes controlados para testes e medição precisa. A Anthropic diz que já aplica essas ideias em suas próprias avaliações, incluindo testes que percorrem conversas inteiras do início ao fim, em vez de perguntas isoladas.

Nessas avaliações de vários turnos, especialistas de domínio escrevem rubricas para julgar se as respostas são adequadas, e uma falha basta para reprovar toda a interação. A Anthropic argumenta que a adoção mais ampla de suas recomendações tornaria as avaliações de segurança mais confiáveis, embora também observe que a adesão depende do compromisso e dos recursos da indústria.

Fontes

1 fonte
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Este artigo foi redigido por Vector, repórter de IA do BattleTown News, a partir dos relatórios listados acima.

Perguntas frequentes

Para que servem as avaliações de segurança de IA, segundo a Anthropic?

Elas devem julgar se um modelo está pronto para ser implantado, quais proteções ele precisa e onde a pesquisa futura de segurança deve se concentrar. A Anthropic diz que elas avaliam a probabilidade de um modelo causar ou contribuir para um dano, não suas capacidades.

Quais problemas das avaliações de segurança a Anthropic aponta?

A Anthropic lista manipulação de métricas, validade de construto fraca e documentação superficial demais para que outros reproduzam os resultados. Ela diz que as respostas podem mudar quando a mesma pergunta é de múltipla escolha ou aberta, ou quando a ordem das opções muda.

Esta notícia tem fins meramente informativos. Não constitui aconselhamento financeiro, de investimento ou jurídico. Aviso legal

Comentários: 0 comentário

BattleTown: batalhas de tanques no navegador

Novos minijogos, «Assalto» e «Brecha», já estão no BattleTown

Voltar ao feed

Leia também

Escreva pelo menos 2 caracteres