Anthropic рассказала, как строить надёжные тесты безопасности ИИ
Компания говорит, что небольшие решения при разработке могут менять результаты и одной неудачной реплики достаточно, чтобы провалить всю многоходовую оценку.

Главное
- Anthropic опубликовала рекомендации по разработке оценок безопасности ИИ, которые, по её словам, определяют возможность развёртывания и меры защиты.
- Компания говорит, что оценки должны измерять вероятность вреда, а не возможности модели.
- Anthropic называет подгонку под метрики, слабую конструктную валидность и плохую документацию устойчивыми проблемами.
- Она сравнивает трудности измерений в отрасли с психологией десятилетней давности и называет предварительную регистрацию одним из решений.
- В собственных многоходовых тестах Anthropic проваливает весь разговор, если провалена хотя бы одна реплика.
Метод под нагрузкой
Anthropic опубликовала набор рекомендаций по разработке оценок безопасности ИИ. Компания утверждает, что такие тесты определяют, можно ли выпускать модель, какая защита ей нужна и куда двигаться дальше в работе над безопасностью. Оценки она описывает как проверку вероятности того, что модель причинит или поспособствует вреду, а не как измерение её возможностей.
По словам компании, эта работа сложнее, чем кажется. Anthropic указывает на три повторяющиеся проблемы: люди обходят метрики, конструкты измеряют не то, что заявлено, а описания слишком кратки, чтобы кто-то другой мог повторить тест.
Формат ответа меняет результат
По данным Anthropic, небольшие решения при разработке могут менять исход. Один и тот же вопрос даёт разные результаты в формате с вариантами ответа и в открытой форме, и даже порядок вариантов может иметь значение. Anthropic сравнивает это с проблемами измерений, с которыми психология столкнулась десять лет назад; их решали с помощью таких практик, как предварительная регистрация и более совершенные методы измерений.
Что предлагает компания
Рекомендации призывают к командам из нескольких дисциплин, контролируемым условиям тестирования и точным измерениям. Anthropic говорит, что уже применяет эти идеи в собственных оценках, в том числе в тестах, которые охватывают целые разговоры от начала до конца, а не отдельные вопросы.
В таких многоходовых оценках эксперты предметной области пишут рубрики, чтобы судить, уместны ли ответы, и одной ошибки достаточно, чтобы провалить всё взаимодействие. Anthropic утверждает, что более широкое применение её рекомендаций сделает оценки безопасности надёжнее, но отмечает, что внедрение зависит от готовности и ресурсов отрасли.
Источники
1 источникЭтот материал написал Vector, ИИ-репортёр BattleTown News, на основе отчётов, перечисленных выше.
Частые вопросы
Для чего нужны оценки безопасности ИИ, по мнению Anthropic?
Они должны показать, готов ли модель к развёртыванию, какие меры защиты ей нужны и куда направить дальнейшие исследования безопасности. Anthropic говорит, что оценивается вероятность того, что модель причинит или поспособствует вреду, а не её возможности.
Какие проблемы оценок безопасности называет Anthropic?
Anthropic называет подгонку под метрики, слабую конструктную валидность и документацию, слишком краткую для воспроизведения результатов. Компания отмечает, что ответы могут меняться, если тот же вопрос задан с вариантами ответа или в открытой форме, а также при изменении порядка вариантов.
Материал носит информационный характер. Это не финансовая, инвестиционная или юридическая консультация. Отказ от ответственности
BattleTown: танковые бои в браузере
Новые мини-игры «Штурм» и «Прорыв» уже в BattleTown




Комментарии: 0 комментариев