Anthropic, güvenilir olduğunu söylediği yapay zekâ güvenlik testlerinin nasıl kurulacağını anlattı
Şirket, küçük tasarım tercihlerinin sonuçları değiştirebildiğini ve çok turlu bir değerlendirmede tek bir başarısız turun tüm değerlendirmeyi düşürmeye yettiğini söylüyor.

Öne çıkanlar
- Anthropic, yapay zekâ güvenlik değerlendirmelerinin tasarımına ilişkin öneriler yayımladı; şirkete göre bu değerlendirmeler bir modelin yayımlanabilirliğini ve alacağı önlemleri belirliyor.
- Şirket, değerlendirmelerin modelin yeteneklerini değil zarar olasılığını ölçmesi gerektiğini söylüyor.
- Anthropic, metriklerle oynamayı, zayıf yapı geçerliliğini ve yetersiz belgelendirmeyi kalıcı sorunlar olarak sıralıyor.
- Alanın ölçüm sorunlarını on yıl önceki psikolojiye benzetiyor ve çözüm olarak ön kaydı gösteriyor.
- Anthropic'in kendi çok turlu testlerinde tek bir tur başarısız olursa tüm konuşma başarısız sayılıyor.
Zorlanan bir yöntem
Anthropic, yapay zekâ güvenlik değerlendirmelerinin nasıl tasarlanması gerektiğine dair bir dizi öneri yayımladı. Şirkete göre bu testler bir modelin yayımlanıp yayımlanamayacağını, hangi koruma önlemlerine ihtiyaç duyduğunu ve güvenlik çalışmalarının bundan sonra nereye yönelmesi gerektiğini belirliyor. Şirket, değerlendirmeleri modelin neler yapabildiğinin ölçüsü olarak değil, modelin zarara yol açma veya zarara katkıda bulunma olasılığının kontrolü olarak tanımlıyor.
Şirket, bu işin göründüğünden zor olduğunu belirtti. Anthropic üç sorunun sürekli tekrarladığını aktarıyor: insanların metriklerin etrafından dolaşacak yollar geliştirmesi, ölçtüğünü iddia ettiği şeyi ölçmeyen yapılar ve başkalarının testi yineleyemeyeceği kadar yetersiz yazılı açıklamalar.
Yanıt biçimi sonucu değiştiriyor
Anthropic'e göre küçük tasarım tercihleri sonuçları değiştirebiliyor. Aynı soru, açık uçlu yerine çoktan seçmeli sorulduğunda farklı sonuçlar verebiliyor; yanıt seçeneklerinin sırası bile önemli olabiliyor. Anthropic bunu, on yıl önce psikolojinin karşılaştığı ve ön kayıt ile daha iyi ölçüm yöntemleri gibi uygulamalarla ele alınan ölçüm sorunlarına benzetiyor.
Şirketin önerdikleri
Öneriler, birden çok disiplini kapsayan ekipler, testler için kontrollü ortamlar ve kesin ölçüm çağrısı yapıyor. Anthropic bu fikirleri kendi değerlendirmelerinde zaten uyguladığını, bunlar arasında tek sorular yerine baştan sona tüm konuşmalar üzerinden yürüyen testlerin de bulunduğunu söylüyor.
Bu çok turlu değerlendirmelerde alan uzmanları, yanıtların uygun olup olmadığını yargılamak için değerlendirme ölçütleri yazıyor ve tek bir başarısızlık tüm etkileşimi başarısız saymaya yetiyor. Anthropic, önerilerinin daha geniş benimsenmesinin güvenlik değerlendirmelerini daha güvenilir kılacağını savunuyor; ancak benimsenmenin sektörün taahhüdüne ve kaynaklarına bağlı olduğunu da belirtiyor.
Kaynaklar
1 kaynakBu makale, BattleTown News'ün yapay zekâ muhabiri Vector tarafından yukarıda listelenen raporlardan taslak olarak hazırlanmıştır.
Sık sorulan sorular
Anthropic'e göre yapay zekâ güvenlik değerlendirmeleri ne için yapılır?
Bir modelin yayımlanmaya hazır olup olmadığını, hangi koruma önlemlerine ihtiyaç duyduğunu ve gelecekteki güvenlik araştırmalarının nereye odaklanması gerektiğini yargılamak için yapılır. Anthropic, bu değerlendirmelerin modelin yeteneklerini değil zarara yol açma veya zarara katkıda bulunma olasılığını ölçtüğünü söylüyor.
Anthropic güvenlik değerlendirmelerindeki hangi sorunları sıralıyor?
Anthropic metriklerle oynamayı, zayıf yapı geçerliliğini ve başkalarının sonuçları yineleyemeyeceği kadar yetersiz belgelendirmeyi sıralıyor. Aynı soru çoktan seçmeli ya da açık uçlu sorulduğunda veya seçeneklerin sırası değiştiğinde yanıtların değişebildiğini belirtiyor.
Bu haber yalnızca bilgilendirme amaçlıdır. Finansal, yatırım veya hukuki tavsiye değildir. Sorumluluk reddi
BattleTown: tarayıcıda tank savaşları
Yeni mini oyunlar “Hücum” ve “Yarma” artık BattleTown’da




Yorumlar: 0 yorum