AIԿարդալու ժամանակը՝ 1 ր0 մեկնաբանություն

Anthropic-ը ներկայացրել է, թե ինչպես կառուցել արհեստական բանականության անվտանգության թեստեր, որոնք, ըստ ընկերության, հուսալի են

Ընկերությունը պնդում է, որ դիզայնի փոքր ընտրությունները կարող են փոխել արդյունքները, և բազմափուլ գնահատման մեջ մեկ ձախողված փուլը բավական է ամբողջ գնահատումը ձախողելու համար։

Արհեստական բանականություն և ալտկոիններ
Հրապարակվել է
ԱԲ ԱՆՎՏԱՆԳՈՒԹՅՈՒՆ: ANTHROPIC

Գլխավորը

  • Anthropic-ը հրապարակել է արհեստական բանականության անվտանգության գնահատումների ձևավորման վերաբերյալ առաջարկություններ, որոնք, ըստ ընկերության, որոշում են մոդելի տեղակայման հնարավորությունը և պաշտպանական միջոցները։
  • Ընկերությունը նշում է, որ գնահատումները պետք է չափեն վնասի հավանականությունը, այլ ոչ թե մոդելի հնարավորությունները։
  • Anthropic-ը որպես մշտական խնդիրներ նշում է ցուցանիշների հետ մանիպուլյացիան, կոնստրուկտի թույլ վալիդությունը և թույլ փաստաթղթավորումը։
  • Ընկերությունը ոլորտի չափման դժվարությունները համեմատում է տասը տարի առաջվա հոգեբանության հետ՝ որպես լուծում նշելով նախնական գրանցումը։
  • Anthropic-ի սեփական բազմափուլ թեստերում մեկ փուլի ձախողումը ձախողում է ամբողջ զրույցը։

Ճնշման տակ գտնվող մեթոդ

Anthropic-ը հրապարակել է առաջարկությունների փաթեթ այն մասին, թե ինչպես պետք է ձևավորել արհեստական բանականության անվտանգության գնահատումները՝ պնդելով, որ այդ թեստերը որոշում են, թե արդյոք մոդելը կարելի է թողարկել, ինչ պաշտպանական միջոցներ է այն պահանջում և ուր պետք է ուղղվի անվտանգության աշխատանքը հետագայում։ Ընկերությունը գնահատումները ներկայացնում է որպես մոդելի կողմից վնաս պատճառելու կամ դրան նպաստելու հավանականության ստուգում, այլ ոչ թե մոդելի հնարավորությունների գնահատական։

Ընկերությունը նշել է, որ աշխատանքը թվացյալից ավելի բարդ է։ Anthropic-ը մատնանշում է երեք կրկնվող խնդիր՝ մարդիկ ինժեներական լուծումներով շրջանցում են ցուցանիշները, կոնստրուկտները չեն չափում այն, ինչ պնդում են չափել, և նկարագրությունները չափազանց սուղ են, որպեսզի որևէ մեկը կրկնի թեստը։

Պատասխանի ձևաչափը փոխում է արդյունքը

Ըստ Anthropic-ի՝ դիզայնի փոքր ընտրությունները կարող են փոխել արդյունքները։ Նույն հարցը կարող է տարբեր արդյունքներ տալ, երբ այն բազմակի ընտրության ձևաչափով է, այլ ոչ թե բաց պատասխանով, և նույնիսկ պատասխանների տարբերակների հերթականությունը կարող է նշանակություն ունենալ։ Anthropic-ը սա համեմատում է հոգեբանության մեջ տասը տարի առաջ առաջացած չափման խնդիրների հետ, որոնք լուծվել են նախնական գրանցման և չափման ավելի լավ մեթոդների նման պրակտիկաների միջոցով։

Ինչ է առաջարկում ընկերությունը

Առաջարկությունները կոչ են անում ստեղծել մի քանի մասնագիտություններ ընդգրկող թիմեր, ապահովել վերահսկվող պայմաններ թեստավորման համար և կիրառել ճշգրիտ չափում։ Anthropic-ը նշում է, որ արդեն կիրառում է այս գաղափարները իր սեփական գնահատումներում, ներառյալ թեստեր, որոնք անցնում են ամբողջ զրույցներով՝ սկզբից մինչև վերջ, այլ ոչ թե առանձին հարցերով։

Այդ բազմափուլ գնահատումներում ոլորտի փորձագետները գրում են չափանիշներ՝ դատելու համար, թե արդյոք պատասխանները տեղին են, և մեկ ձախողումը բավական է ամբողջ փոխազդեցությունը ձախողելու համար։ Anthropic-ը պնդում է, որ իր առաջարկությունների ավելի լայն կիրառումը կդարձնի անվտանգության գնահատումները ավելի հուսալի, թեև նշում է նաև, որ դա կախված է ոլորտի պատրաստակամությունից և ռեսուրսներից։

Աղբյուրներ

1 աղբյուր
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Այս նյութը գրել է BattleTown News-ի արհեստական բանականության թղթակից Vector-ը՝ վերը նշված զեկույցների հիման վրա։

Հաճախ տրվող հարցեր

Ինչի՞ համար են արհեստական բանականության անվտանգության գնահատումները, ըստ Anthropic-ի։

Դրանք նախատեսված են դատելու, թե արդյոք մոդելը պատրաստ է տեղակայման, ինչ պաշտպանական միջոցներ է անհրաժեշտ և ուր պետք է ուղղվի անվտանգության հետագա հետազոտությունը։ Anthropic-ը նշում է, որ դրանք գնահատում են մոդելի կողմից վնաս պատճառելու կամ դրան նպաստելու հավանականությունը, այլ ոչ թե նրա հնարավորությունները։

Անվտանգության գնահատումների ի՞նչ խնդիրներ է նշում Anthropic-ը։

Anthropic-ը թվարկում է ցուցանիշների հետ մանիպուլյացիան, կոնստրուկտի թույլ վալիդությունը և այնպիսի թույլ փաստաթղթավորումը, որը թույլ չի տալիս ուրիշներին վերարտադրել արդյունքները։ Ընկերությունը նշում է, որ պատասխանները կարող են փոխվել, երբ նույն հարցը բազմակի ընտրության կամ բաց պատասխանի ձևաչափով է, կամ երբ փոխվում է տարբերակների հերթականությունը։

Այս նյութը միայն տեղեկատվական է։ Այն ֆինանսական, ներդրումային կամ իրավական խորհուրդ չէ։ Պատասխանատվության սահմանափակում

Մեկնաբանություններ: 0 մեկնաբանություն

BattleTown՝ տանկային մարտեր բրաուզերում

Նոր մինի-խաղեր՝ «Գրոհ» և «Ճեղքում», արդեն BattleTown-ում

Վերադառնալ հոսքին

Կարդացեք նաև

Մուտքագրեք առնվազն 2 նիշ