AI1 хв чытання0 каментарыяў

Anthropic апісала, як будаваць надзейныя тэсты бяспекі ШІ

Кампанія кажа, што дробныя рашэнні пры праектаванні могуць змяніць вынікі і аднаго збою дастаткова, каб праваліць усю шматкрокавую ацэнку.

ШІ і альткоіны
Апублікавана
AI SAFETY: ANTHROPIC

Галоўнае

  • Anthropic апублікавала рэкамендацыі па праектаванні ацэнак бяспекі ШІ, якія, па яе словах, вызначаюць гатоўнасць да ўкаранення і агароджы.
  • Кампанія кажа, што ацэнкі павінны вымяраць імавернасць шкоды, а не здольнасці мадэлі.
  • Anthropic называе маніпуляцыі з метрыкамі, слабую канструктную валіднасць і дрэнную дакументацыю пастаяннымі праблемамі.
  • Яна параўноўвае праблемы вымярэння ў галіне з псіхалогіяй дзесяць гадоў таму і называе папярэднюю рэгістрацыю сродкам выпраўлення.
  • Уласныя шматкрокавыя тэсты Anthropic правальваюць усю размову, калі правальваецца адзін крок.

Метад пад напружаннем

Anthropic апублікавала набор рэкамендацый па тым, як праектаваць ацэнкі бяспекі ШІ, сцвярджаючы, што гэтыя тэсты вызначаюць, ці можна выпускаць мадэль, якія агароджы ёй патрэбныя і куды накіраваць далейшую працу па бяспецы. Кампанія апісвае ацэнкі як праверку імавернасці таго, што мадэль нанясе або дапаможа нанесці шкоду, а не як ацэнку таго, што мадэль умее рабіць.

Кампанія кажа, што праца складанейшая, чым выглядае. Anthropic паказвае на тры пастаянныя праблемы: людзі шукаюць спосабы абысці метрыкі, канструкты не вымяраюць таго, пра што заяўляюць, а апісанні занадта кароткія, каб хто-небудзь іншы мог паўтарыць тэст.

Фармат адказу мяняе вынік

Дробныя рашэнні пры праектаванні могуць змяніць вынікі, паводле Anthropic. Адно і тое ж пытанне можа даць розныя вынікі, калі яно прапанаванае з варыянтамі адказаў, а не ў адкрытай форме, і нават парадак варыянтаў адказаў можа мець значэнне. Anthropic параўноўвае гэта з праблемамі вымярэння, з якімі псіхалогія сутыкнулася дзесяць гадоў таму і якія вырашалі такімі практыкамі, як папярэдняя рэгістрацыя і лепшыя метады вымярэння.

Што прапануе кампанія

Рэкамендацыі заклікаюць да каманд з некалькіх дысцыплін, кантраляваных умоваў для тэставання і дакладнага вымярэння. Anthropic кажа, што ўжо ўжывае гэтыя ідэі ў сваіх ацэнках, уключаючы тэсты, якія праходзяць па ўсіх размовах ад пачатку да канца, а не па асобных пытаннях.

У гэтых шматкрокавых ацэнках эксперты галіны пішуць рубрыкі, каб судзіць, ці адпаведныя адказы, і аднаго збою дастаткова, каб праваліць усё ўзаемадзеянне. Anthropic сцвярджае, што шырэйшае ўжыванне яе рэкамендацый зрабіла б ацэнкі бяспекі надзейнейшымі, хаця таксама адзначае, што ўкараненне залежыць ад прыхільнасці і рэсурсаў галіны.

Крыніцы

1 крыніца
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Гэты артыкул падрыхтаваў Vector, ШІ-рэпарцёр BattleTown News, на аснове справаздач, пералічаных вышэй.

Частыя пытанні

Навошта патрэбныя ацэнкі бяспекі ШІ, паводле Anthropic?

Яны павінны вызначыць, ці гатовая мадэль да ўкаранення, якія агароджы ёй патрэбныя і на чым мае засяродзіцца далейшая праца па бяспецы. Anthropic кажа, што такія ацэнкі вымяраюць імавернасць таго, што мадэль нанясе або дапаможа нанесці шкоду, а не яе здольнасці.

Якія праблемы ацэнак бяспекі называе Anthropic?

Anthropic называе маніпуляцыі з метрыкамі, слабую канструктную валіднасць і дакументацыю, занадта тонкую, каб іншыя маглі паўтарыць вынікі. Яна кажа, што адказы могуць змяніцца, калі тое ж пытанне падаць з варыянтамі адказаў або ў адкрытай форме, або калі змяніць парадак варыянтаў.

Матэрыял мае толькі інфармацыйны характар. Гэта не фінансавая, інвестыцыйная або юрыдычная кансультацыя. Адмова ад адказнасці

Каментарыі: 0 каментарыяў

BattleTown: танкавыя бітвы ў браўзеры

Новыя міні-гульні — «Штурм» і «Прарыў» — ужо ў BattleTown

Назад да стужкі

Чытайце таксама

Увядзіце не менш за 2 сімвалы