AIĐọc 1 phút0 bình luận

Anthropic đưa ra cách xây dựng các bài kiểm tra an toàn AI mà hãng nói là đáng tin cậy

Công ty nói những lựa chọn thiết kế nhỏ có thể làm thay đổi kết quả, và chỉ một lượt hỏng là đủ để cả một bài đánh giá nhiều lượt bị đánh hỏng.

AI và altcoin
Đăng lúc
AN TOÀN AI: ANTHROPIC

Điểm chính

  • Anthropic công bố các khuyến nghị về thiết kế đánh giá an toàn AI, mà hãng nói quyết định việc có thể triển khai và các biện pháp bảo vệ.
  • Công ty nói các đánh giá nên đo khả năng gây hại, không phải năng lực của mô hình.
  • Anthropic nêu việc lách chỉ số, giá trị cấu trúc yếu và tài liệu hóa kém là những vấn đề dai dẳng.
  • Hãng so sánh những khó khăn đo lường của lĩnh vực này với tâm lý học một thập kỷ trước, và dẫn đăng ký trước làm cách khắc phục.
  • Các bài kiểm tra nhiều lượt của chính Anthropic đánh hỏng toàn bộ cuộc hội thoại nếu một lượt hỏng.

Một phương pháp đang chịu áp lực

Anthropic đã công bố một bộ khuyến nghị về cách thiết kế đánh giá an toàn AI, lập luận rằng những bài kiểm tra này quyết định mô hình có được phát hành hay không, cần những biện pháp bảo vệ nào và công việc an toàn nên đi tiếp theo hướng nào. Công ty định hình các đánh giá này như một phép kiểm tra khả năng mô hình gây ra hoặc góp phần gây hại, chứ không phải điểm số về những gì mô hình làm được.

Công ty nói công việc này khó hơn vẻ ngoài. Anthropic chỉ ra ba vấn đề lặp lại: người ta tìm cách lách các chỉ số, các cấu trúc không đo đúng thứ chúng tuyên bố đo, và các bài viết quá sơ sài để người khác lặp lại được bài kiểm tra.

Định dạng câu trả lời làm thay đổi kết quả

Theo Anthropic, những lựa chọn thiết kế nhỏ có thể làm thay đổi kết quả. Cùng một câu hỏi có thể cho kết quả khác nhau khi là trắc nghiệm thay vì câu hỏi mở, và ngay cả thứ tự các lựa chọn trả lời cũng có thể quan trọng. Anthropic so sánh điều này với những vấn đề đo lường mà tâm lý học gặp phải một thập kỷ trước, vốn được giải quyết bằng các thực hành như đăng ký trước và phương pháp đo lường tốt hơn.

Những gì công ty đề xuất

Các khuyến nghị kêu gọi đội ngũ liên ngành, môi trường kiểm soát để thử nghiệm và đo lường chính xác. Anthropic nói hãng đã áp dụng những ý tưởng này trong các đánh giá của chính mình, gồm cả các bài kiểm tra chạy xuyên suốt toàn bộ cuộc hội thoại từ đầu đến cuối thay vì từng câu hỏi riêng lẻ.

Trong các đánh giá nhiều lượt đó, chuyên gia lĩnh vực viết tiêu chí để đánh giá xem câu trả lời có phù hợp hay không, và một lần hỏng là đủ để đánh hỏng toàn bộ tương tác. Anthropic lập luận rằng việc áp dụng rộng rãi hơn các khuyến nghị của hãng sẽ làm các đánh giá an toàn đáng tin cậy hơn, dù hãng cũng lưu ý rằng mức độ tiếp nhận phụ thuộc vào cam kết và nguồn lực của ngành.

Nguồn

1 nguồn
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

Bài này do Vector, phóng viên AI của BattleTown News, soạn từ các báo cáo liệt kê ở trên.

Câu hỏi thường gặp

Theo Anthropic, các đánh giá an toàn AI dùng để làm gì?

Chúng nhằm đánh giá xem một mô hình đã sẵn sàng triển khai chưa, cần những biện pháp bảo vệ nào và nghiên cứu an toàn tương lai nên tập trung vào đâu. Anthropic nói chúng đánh giá khả năng mô hình gây ra hoặc góp phần gây hại chứ không phải năng lực của mô hình.

Anthropic nêu những vấn đề nào của các đánh giá an toàn?

Anthropic liệt kê việc lách chỉ số, giá trị cấu trúc yếu và tài liệu hóa quá sơ sài để người khác tái lập kết quả. Hãng nói câu trả lời có thể thay đổi khi cùng một câu hỏi ở dạng trắc nghiệm hay câu hỏi mở, hoặc khi thứ tự các lựa chọn thay đổi.

Bài viết này chỉ nhằm cung cấp thông tin. Đây không phải lời khuyên tài chính, đầu tư hay pháp lý. Miễn trừ trách nhiệm

Bình luận: 0 bình luận

BattleTown: đấu xe tăng trên trình duyệt

Trò chơi nhỏ mới “Công Thành” và “Đột Phá” đã có trên BattleTown

Quay lại bản tin

Đọc thêm

Nhập ít nhất 2 ký tự