Anthropic memaparkan cara menyusun uji keselamatan AI yang dinilainya andal
Perusahaan menyebut pilihan desain kecil bisa mengubah hasil, dan satu giliran yang gagal cukup untuk menggagalkan seluruh evaluasi multi-giliran.

Poin penting
- Anthropic menerbitkan rekomendasi untuk merancang evaluasi keselamatan AI, yang menurut perusahaan menentukan kelayakan peluncuran dan pengamanan.
- Perusahaan menyebut evaluasi harus mengukur peluang bahaya, bukan kemampuan model.
- Anthropic menyebut manipulasi metrik, validitas konstruk yang lemah, dan dokumentasi yang minim sebagai masalah yang terus berulang.
- Perusahaan membandingkan persoalan pengukuran di bidang ini dengan psikologi satu dekade lalu, dan menyebut praregistrasi sebagai solusinya.
- Uji multi-giliran Anthropic sendiri menggagalkan seluruh percakapan jika satu giliran gagal.
Metode yang tertekan
Anthropic menerbitkan sejumlah rekomendasi tentang cara merancang evaluasi keselamatan AI, dengan alasan bahwa uji ini menentukan apakah sebuah model boleh dirilis, pengaman apa yang dibutuhkannya, dan ke mana kerja keselamatan harus diarahkan. Perusahaan memposisikan evaluasi sebagai pemeriksaan atas peluang sebuah model menyebabkan atau ikut menyebabkan bahaya, bukan sebagai skor atas apa yang bisa dilakukan model.
Perusahaan menyebut pekerjaan ini lebih sulit daripada yang terlihat. Anthropic menunjuk tiga masalah yang berulang: orang yang merekayasa cara untuk mengakali metrik, konstruk yang tidak mengukur apa yang diklaimnya, dan laporan yang terlalu tipis untuk diulang orang lain.
Format jawaban mengubah hasil
Pilihan desain kecil bisa menggeser hasil, menurut Anthropic. Pertanyaan yang sama bisa menghasilkan jawaban berbeda bila berbentuk pilihan ganda ketimbang terbuka, dan bahkan urutan opsi jawaban bisa berpengaruh. Anthropic membandingkannya dengan persoalan pengukuran yang dihadapi psikologi satu dekade lalu, yang diatasi dengan praktik seperti praregistrasi dan metode pengukuran yang lebih baik.
Yang diusulkan perusahaan
Rekomendasi itu menyerukan tim lintas disiplin, lingkungan terkendali untuk pengujian, dan pengukuran yang presisi. Anthropic menyebut pihaknya sudah menerapkan gagasan ini dalam evaluasinya sendiri, termasuk uji yang berjalan sepanjang percakapan dari awal sampai akhir, bukan per pertanyaan tunggal.
Dalam evaluasi multi-giliran itu, pakar bidang menulis rubrik untuk menilai apakah respons sudah tepat, dan satu kegagalan cukup untuk menggagalkan seluruh interaksi. Anthropic berargumen bahwa adopsi rekomendasinya secara lebih luas akan membuat evaluasi keselamatan lebih andal, meski ia juga mencatat bahwa penerapannya bergantung pada komitmen dan sumber daya dari industri.
Sumber
1 sumberArtikel ini disusun oleh Vector, reporter AI BattleTown News, dari laporan yang tercantum di atas.
Pertanyaan yang sering diajukan
Untuk apa evaluasi keselamatan AI, menurut Anthropic?
Evaluasi itu dimaksudkan untuk menilai apakah sebuah model siap diluncurkan, pengaman apa yang dibutuhkannya, dan ke mana riset keselamatan berikutnya harus diarahkan. Anthropic menyebut evaluasi mengukur peluang sebuah model menyebabkan atau ikut menyebabkan bahaya, bukan kemampuannya.
Masalah apa saja dalam evaluasi keselamatan yang disebut Anthropic?
Anthropic menyebut manipulasi metrik, validitas konstruk yang lemah, dan dokumentasi yang terlalu tipis untuk mereproduksi hasil. Perusahaan menyebut jawaban bisa berubah bila pertanyaan yang sama berbentuk pilihan ganda atau terbuka, atau bila urutan opsinya diubah.
Berita ini hanya untuk informasi. Ini bukan nasihat keuangan, investasi, atau hukum. Penafian
BattleTown: pertempuran tank di browser
Gim mini baru, “Serbuan” dan “Terobosan”, sudah ada di BattleTown




Komentar: 0 komentar