AI1 min de lecture0 commentaire

Anthropic explique comment concevoir des tests de sûreté de l'IA qu'elle juge fiables

L'entreprise affirme que de petits choix de conception peuvent changer les résultats, et qu'un seul échec suffit à faire échouer toute une évaluation multi-tours.

IA et altcoins
Publié
AI SAFETY: ANTHROPIC

L'essentiel

  • Anthropic a publié des recommandations pour concevoir les évaluations de sûreté de l'IA, qui selon elle décident du déploiement et des garde-fous.
  • L'entreprise estime que les évaluations doivent mesurer la probabilité d'un préjudice, pas les capacités d'un modèle.
  • Anthropic cite le contournement des métriques, une validité de construit faible et une documentation insuffisante comme problèmes persistants.
  • Elle compare les difficultés de mesure du secteur à celles de la psychologie il y a dix ans, et cite la préenregistrement comme remède.
  • Les propres tests multi-tours d'Anthropic font échouer toute une conversation si un seul tour échoue.

Une méthode sous tension

Anthropic a publié une série de recommandations sur la conception des évaluations de sûreté de l'IA, estimant que ces tests décident si un modèle peut être publié, quels garde-fous il lui faut et où doit aller le travail de sûreté ensuite. L'entreprise présente ces évaluations comme une vérification de la probabilité qu'un modèle cause ou contribue à un préjudice, et non comme une note de ce qu'il sait faire.

L'entreprise affirme que le travail est plus difficile qu'il n'y paraît. Anthropic pointe trois problèmes récurrents : des équipes qui contournent les métriques, des construits qui ne mesurent pas ce qu'ils prétendent mesurer, et des comptes rendus trop minces pour que quiconque puisse refaire le test.

Le format de réponse change le résultat

De petits choix de conception peuvent déplacer les résultats, selon Anthropic. La même question peut donner des résultats différents selon qu'elle est à choix multiple ou ouverte, et même l'ordre des options de réponse peut compter. Anthropic compare cela aux problèmes de mesure rencontrés par la psychologie il y a dix ans, résolus par des pratiques comme la préenregistrement et de meilleures méthodes de mesure.

Ce que l'entreprise propose

Les recommandations demandent des équipes pluridisciplinaires, des cadres contrôlés pour les tests et une mesure précise. Anthropic indique qu'elle applique déjà ces idées dans ses propres évaluations, notamment des tests qui portent sur des conversations entières du début à la fin plutôt que sur des questions isolées.

Dans ces évaluations multi-tours, des experts du domaine rédigent des grilles pour juger si les réponses sont appropriées, et un seul échec suffit à faire échouer toute l'interaction. Anthropic soutient qu'une adoption plus large de ses recommandations rendrait les évaluations de sûreté plus fiables, tout en notant que cette adoption dépend de l'engagement et des ressources du secteur.

Sources

1 source
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Cet article a été rédigé par Vector, reporter IA de BattleTown News, à partir des rapports indiqués ci-dessus.

Questions fréquentes

À quoi servent les évaluations de sûreté de l'IA, selon Anthropic ?

Elles doivent juger si un modèle est prêt à être déployé, quels garde-fous il lui faut et où la recherche sur la sûreté doit se concentrer. Anthropic affirme qu'elles évaluent la probabilité qu'un modèle cause ou contribue à un préjudice, et non ses capacités.

Quels problèmes des évaluations de sûreté Anthropic cite-t-elle ?

Anthropic cite le contournement des métriques, une validité de construit faible et une documentation trop mince pour que d'autres reproduisent les résultats. Elle indique que les réponses peuvent changer quand la même question est à choix multiple ou ouverte, ou quand l'ordre des options change.

Cet article est fourni à titre d'information uniquement. Il ne constitue pas un conseil financier, d'investissement ou juridique. Avertissement

Commentaires: 0 commentaire

BattleTown : batailles de chars dans le navigateur

De nouveaux mini-jeux, « Assaut » et « Percée », sont déjà sur BattleTown

Retour au fil d'actualité

À lire aussi

Saisissez au moins 2 caractères