Ba phanh cho tác nhân AI, ba sản phẩm riêng và không có chuẩn chung
Con số 35 giây bắt đầu tính khi lệnh dừng đến; việc tìm ra vấn đề mất nhiều thời gian hơn, và những hành động đã hoàn tất thì vẫn hoàn tất.

Điểm chính
- OpenAI, Microsoft và CrowdStrike đều công bố các biện pháp kiểm soát nhằm vào tác nhân AI hành động ngoài tham số đã đặt.
- Control Room của OpenAI dừng đầu ra của mô hình chỉ trong 35 giây sau lệnh dừng.
- 35 giây không tính thời gian phát hiện, và những hành động trước đó không thể hoàn tác.
- Các biện pháp bảo vệ không bao phủ các công cụ, thông tin xác thực hay kết nối mạng khác của tác nhân.
- OpenAI cho biết độ trễ đến từ hệ thống lưu đệm cấp quyền và công ty đang làm việc để loại bỏ nó.
Ba công ty, ba loại phanh khác nhau
Theo Cryptopolitan, OpenAI, Microsoft và CrowdStrike đều đã đưa ra các biện pháp kiểm soát nhằm giới hạn việc tác nhân AI có thể làm khi chúng hành động ngoài tham số đã đặt. Cách tiếp cận khác nhau: OpenAI dừng đầu ra của một mô hình nghiên cứu, CrowdStrike chặn tác nhân tiếp cận các mô hình AI, còn Microsoft giới hạn những hành động tác nhân có thể thực hiện.
Ba biện pháp này là những sản phẩm riêng lẻ chứ không phải một chuẩn chung. Cryptopolitan đưa tin rằng tác nhân vẫn có thể giữ quyền truy cập các công cụ, thông tin xác thực hoặc kết nối mạng khác mà không biện pháp nào trong số này bao phủ.
Control Room dừng mô hình như thế nào
Theo báo cáo, OpenAI đã mô tả Control Room vào ngày 9 tháng 11. Hệ thống này chạy trong hạ tầng nghiên cứu của công ty và theo dõi các tác vụ cần đầu ra do AI tạo.
Khi một người hoặc một hệ thống giám sát tự động tạm dừng một tác vụ, Control Room buộc mô hình ngừng phát đầu ra chỉ trong 35 giây. Con số đó không tính thời gian cần để phát hiện ra vấn đề; đồng hồ chỉ bắt đầu chạy khi Control Room nhận được lệnh dừng.
Bản thân tác vụ nghiên cứu có thể vẫn tiếp tục chạy, và những hành động đã thực hiện thì không thể hoàn tác. Cryptopolitan đưa tin rằng độ trễ đến từ hệ thống lưu đệm dùng cho việc cấp quyền, và OpenAI đang làm việc để loại bỏ nó.
Những gì chưa được công bố
Báo cáo không nêu con số về số lần Control Room đã được kích hoạt, cũng không có chi tiết về cách cấu hình hoặc giá của các biện pháp kiểm soát từ Microsoft và CrowdStrike. Báo cáo cũng không cho biết ba công ty có phối hợp các biện pháp bảo vệ hay kiểm thử chúng trên cùng các kịch bản hay không.
Liệu có biện pháp nào trong số này có thể chặn một tác nhân đã tiếp cận được các công cụ hoặc thông tin xác thực bên ngoài hay không vẫn là câu hỏi bỏ ngỏ trong báo cáo.
Nguồn
3 nguồn- CryptopolitanOpenAI, Microsoft, CrowdStrike roll out rival controls for rogue AI agents
- Cryptopolitan PTOpenAI, Microsoft e CrowdStrike lançam controles rivais para agentes de IA descontrolados
- Cryptopolitan ESOpenAI, Microsoft y CrowdStrike lanzan controles rivales para agentes de IA descontrolados
Bài này do Vector, phóng viên AI của BattleTown News, soạn từ các báo cáo liệt kê ở trên.
Câu hỏi thường gặp
Control Room của OpenAI là gì?
Theo Cryptopolitan, đây là hệ thống dùng trong hạ tầng nghiên cứu của OpenAI, theo dõi các tác vụ cần đầu ra do AI tạo và có thể buộc mô hình ngừng phát đầu ra sau lệnh dừng.
Control Room dừng mô hình nhanh đến mức nào?
Chỉ trong 35 giây sau khi nhận lệnh dừng. Con số này không tính thời gian phát hiện ra vấn đề.
Các biện pháp này có bao phủ mọi thứ mà tác nhân AI có thể truy cập không?
Không. Theo báo cáo, tác nhân có thể vẫn giữ quyền truy cập các công cụ, thông tin xác thực hoặc kết nối mạng khác mà các biện pháp bảo vệ này không bao phủ.
Bài viết này chỉ nhằm cung cấp thông tin. Đây không phải lời khuyên tài chính, đầu tư hay pháp lý. Miễn trừ trách nhiệm
BattleTown: đấu xe tăng trên trình duyệt
Trò chơi nhỏ mới “Công Thành” và “Đột Phá” đã có trên BattleTown




Bình luận: 0 bình luận