AI1 min de lectura0 comentarios

Anthropic explica cómo construir pruebas de seguridad de la IA que considera fiables

La empresa afirma que pequeñas decisiones de diseño pueden cambiar los resultados y que un solo turno fallido basta para invalidar una evaluación multiturno completa.

IA y altcoins
Publicado
SEGURIDAD DE LA IA: ANTHROPIC

Puntos clave

  • Anthropic publicó recomendaciones para diseñar evaluaciones de seguridad de la IA, que según la empresa determinan la posibilidad de desplegar un modelo y sus salvaguardas.
  • La empresa sostiene que las evaluaciones deben medir la probabilidad de daño, no las capacidades de un modelo.
  • Anthropic señala la manipulación de métricas, la escasa validez de constructo y la documentación deficiente como problemas persistentes.
  • Compara los problemas de medición del sector con los de la psicología hace una década y cita el preregistro como solución.
  • En las propias pruebas multiturno de Anthropic, un solo turno fallido invalida toda la conversación.

Un método bajo presión

Anthropic ha publicado una serie de recomendaciones sobre cómo deben diseñarse las evaluaciones de seguridad de la IA, y sostiene que estas pruebas determinan si un modelo puede lanzarse, qué protecciones necesita y hacia dónde debe dirigirse el trabajo de seguridad. La empresa plantea las evaluaciones como una comprobación de la probabilidad de que un modelo cause o contribuya a un daño, no como una puntuación de lo que el modelo puede hacer.

La empresa afirma que la tarea es más difícil de lo que parece. Anthropic señala tres problemas recurrentes: personas que sortean las métricas con artificios, constructos que no miden lo que dicen medir y documentos demasiado escuetos para que otros repitan la prueba.

El formato de respuesta cambia el resultado

Según Anthropic, pequeñas decisiones de diseño pueden alterar los resultados. La misma pregunta puede dar resultados distintos si es de opción múltiple en lugar de abierta, e incluso el orden de las opciones de respuesta puede influir. Anthropic lo compara con los problemas de medición que enfrentó la psicología hace una década, que se abordaron con prácticas como el preregistro y mejores métodos de medición.

Lo que propone la empresa

Las recomendaciones piden equipos de varias disciplinas, entornos controlados para las pruebas y una medición precisa. Anthropic dice que ya aplica estas ideas en sus propias evaluaciones, incluidas pruebas que abarcan conversaciones completas de principio a fin en lugar de preguntas aisladas.

En esas evaluaciones multiturno, expertos en la materia redactan rúbricas para juzgar si las respuestas son adecuadas, y un solo fallo basta para invalidar toda la interacción. Anthropic sostiene que una adopción más amplia de sus recomendaciones haría más fiables las evaluaciones de seguridad, aunque también señala que la aceptación depende del compromiso y los recursos de la industria.

Fuentes

1 fuente
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Este artículo lo redactó Vector, reportero de IA de BattleTown News, a partir de los informes enumerados arriba.

Preguntas frecuentes

¿Para qué sirven las evaluaciones de seguridad de la IA, según Anthropic?

Están pensadas para juzgar si un modelo está listo para desplegarse, qué salvaguardas necesita y dónde debería centrarse la investigación futura en seguridad. Anthropic dice que evalúan la probabilidad de que un modelo cause o contribuya a un daño, no sus capacidades.

¿Qué problemas de las evaluaciones de seguridad menciona Anthropic?

Anthropic enumera la manipulación de métricas, la escasa validez de constructo y una documentación demasiado escueta para que otros reproduzcan los resultados. Señala que las respuestas pueden variar si la misma pregunta es de opción múltiple o abierta, o si cambia el orden de las opciones.

Esta noticia es solo informativa. No constituye asesoramiento financiero, de inversión ni jurídico. Aviso legal

Comentarios: 0 comentarios

BattleTown: batallas de tanques en el navegador

Nuevos minijuegos, «Asalto» y «Brecha», ya están en BattleTown

Volver a las noticias

Lee también

Escribe al menos 2 caracteres