AIОқуға 1 мин0 пікір

Anthropic ИИ қауіпсіздігін тексеру әдістемесін ұсынды

Компанияның айтуынша, шағын дизайн шешімдері нәтижені өзгерте алады, ал көп айналымды бағалауда бір сәтсіз айналым бүкіл тестті сәтсіз етеді.

ЖИ және альткоиндер
Жарияланған
ИИ ҚАУІПСІЗДІГІ: ANTHROPIC

Басты ойлар

  • Anthropic ИИ қауіпсіздігін бағалауды жобалау жөнінде ұсынымдар жариялады; компанияның айтуынша, бұл тесттер модельді шығаруға болатынын, оған қандай қорғаныс қажет екенін анықтайды.
  • Компания бағалау модельдің мүмкіндіктерін емес, зиян келтіру ықтималдығын өлшеуі керек деп санайды.
  • Anthropic метрикалармен ойнауды, конструктің әлсіз валидтілігін және нашар құжаттаманы тұрақты мәселелер деп атайды.
  • Ол саладағы өлшеу қиындықтарын он жыл бұрынғы психологиямен салыстырып, шешім ретінде алдын ала тіркеуді атайды.
  • Anthropic-тың өз көп айналымды тесттерінде бір айналым сәтсіз болса, бүкіл әңгіме сәтсіз деп есептеледі.

Сынаққа түскен әдіс

Anthropic ИИ қауіпсіздігін бағалауды қалай жобалау керектігі туралы ұсынымдар жинағын жариялады. Компанияның пайымдауынша, бұл тесттер модельді шығаруға болатынын, оған қандай қорғаныс қажет екенін және қауіпсіздік жұмысы қайда бағытталуы керегін анықтайды. Компания бағалауды модельдің не істей алатынын бағалау емес, оның зиян келтіру немесе оған үлес қосу ықтималдығын тексеру деп түсіндіреді.

Компания бұл жұмыстың сырттан көрінгеннен қиын екенін айтты. Anthropic үш қайталанатын мәселені атайды: адамдардың метрикаларды айналып өтуге тырысуы, өзі өлшеймін дегенді өлшей алмайтын конструктілер және басқалар тестті қайталай алмайтындай жұқа жазылған есептер.

Жауап форматы нәтижені өзгертеді

Anthropic-тың айтуынша, шағын дизайн шешімдері нәтижені өзгерте алады. Бір сұрақ көп нұсқалы жауаппен берілгенде ашық жауаптан өзгеше нәтиже бере алады, тіпті жауап нұсқаларының реті де маңызды болуы мүмкін. Anthropic мұны он жыл бұрын психология тап болған өлшеу мәселелерімен салыстырады; олар алдын ала тіркеу және өлшеудің жақсартылған әдістері сияқты тәжірибелермен шешілген.

Компания не ұсынады

Ұсынымдар бірнеше пәннен құралған топтарды, тестілеуге арналған бақыланатын ортаны және дәл өлшеуді талап етеді. Anthropic бұл идеяларды өз бағалауларында қолданып жатқанын, оның ішінде жеке сұрақтар емес, әңгіменің басынан аяғына дейін жүретін тесттер бар екенін айтады.

Мұндай көп айналымды бағалауларда сала мамандары жауаптардың орындылығын бағалайтын рубрикалар жазады, ал бір сәтсіздік бүкіл өзара әрекетті сәтсіз деп есептеуге жетеді. Anthropic ұсынымдары кеңінен қолданылса, қауіпсіздік бағалаулары сенімдірек болады деп пайымдайды, бірақ олардың таралуы саланың адалдығы мен ресурстарына байланысты екенін де атап өтеді.

Дереккөздер

1 дереккөз
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Бұл материалды BattleTown News ЖИ-репортері Vector жоғарыда көрсетілген есептер негізінде жазды.

Жиі қойылатын сұрақтар

Anthropic-тың айтуынша, ИИ қауіпсіздігін бағалау не үшін қажет?

Олар модельді шығаруға дайын ба, оған қандай қорғаныс қажет және болашақта қауіпсіздік зерттеулері қайда бағытталуы керек екенін анықтауға арналған. Anthropic олар модельдің мүмкіндіктерін емес, зиян келтіру немесе оған үлес қосу ықтималдығын бағалайды дейді.

Anthropic қауіпсіздікті бағалаудағы қандай мәселелерді атайды?

Anthropic метрикалармен ойнауды, конструктің әлсіз валидтілігін және басқалар нәтижені қайталай алмайтындай жұқа құжаттаманы атайды. Оның айтуынша, бір сұрақ көп нұсқалы немесе ашық болғанда, не нұсқалардың реті өзгергенде жауаптар өзгеруі мүмкін.

Бұл материал тек ақпарат үшін берілген. Ол қаржылық, инвестициялық немесе заңгерлік кеңес емес. Жауапкершіліктен бас тарту

Пікірлер: 0 пікір

BattleTown: браузердегі танк шайқастары

Жаңа мини-ойындар — «Шабуыл» және «Бұзып өту» — қазір BattleTown-да

Лентаға оралу

Мұны да оқыңыз

Кемінде 2 таңба енгізіңіз