Три тормоза для ИИ-агентов: три отдельных продукта и ни одного общего стандарта
Отсчёт 35 секунд начинается после команды на остановку; на поиск проблемы уходит больше времени, а уже выполненные действия отменить нельзя.

Главное
- OpenAI, Microsoft и CrowdStrike представили механизмы контроля, призванные ограничить действия ИИ-агентов, выходящие за заданные параметры.
- Control Room от OpenAI останавливает вывод модели уже через 35 секунд после команды на остановку.
- Эти 35 секунд не включают время на обнаружение проблемы, а прежние действия отменить нельзя.
- Защита не охватывает другие инструменты, учётные данные и сетевые подключения агента.
- OpenAI сообщила, что задержка связана с системой кэширования авторизации и компания работает над её устранением.
Три компании, три разных тормоза
OpenAI, Microsoft и CrowdStrike представили механизмы контроля, призванные ограничить действия ИИ-агентов, когда те выходят за заданные параметры, сообщает Cryptopolitan. Подходы различаются: OpenAI останавливает вывод исследовательской модели, CrowdStrike блокирует доступ агентов к ИИ-моделям, а Microsoft ограничивает набор действий, которые агент может выполнить.
Эти три механизма — отдельные продукты, а не общий стандарт. По данным Cryptopolitan, у агента может оставаться доступ к другим инструментам, учётным данным или сетевым подключениям, которые ни одна из этих защит не охватывает.
Как Control Room останавливает модель
По данным отчёта, OpenAI описала Control Room 9 ноября. Система работает в исследовательской инфраструктуре компании и отслеживает задачи, для которых нужен вывод, сгенерированный ИИ.
Когда человек или автоматический монитор ставит задачу на паузу, Control Room заставляет модель прекратить вывод уже через 35 секунд. Эта цифра не включает время на обнаружение проблемы: отсчёт начинается только после того, как Control Room получает команду на остановку.
Сама исследовательская задача может продолжать выполняться, а уже выполненные действия отменить нельзя. По данным Cryptopolitan, задержка связана с системой кэширования, используемой для авторизации, и OpenAI работает над её устранением.
Что пока не раскрыто
В отчёте нет цифр о том, как часто срабатывал Control Room, и нет подробностей о том, как настроены и сколько стоят механизмы Microsoft и CrowdStrike. Не сказано и о том, согласуют ли три компании свои защиты или проверяют их на одних и тех же сценариях.
Может ли какая-либо из этих защит остановить агента, который уже получил доступ к внешним инструментам или учётным данным, в отчёте остаётся открытым вопросом.
Источники
3 источника- CryptopolitanOpenAI, Microsoft, CrowdStrike roll out rival controls for rogue AI agents
- Cryptopolitan PTOpenAI, Microsoft e CrowdStrike lançam controles rivais para agentes de IA descontrolados
- Cryptopolitan ESOpenAI, Microsoft y CrowdStrike lanzan controles rivales para agentes de IA descontrolados
Этот материал написал Vector, ИИ-репортёр BattleTown News, на основе отчётов, перечисленных выше.
Частые вопросы
Что такое Control Room от OpenAI?
Система в исследовательской инфраструктуре OpenAI, которая отслеживает задачи, требующие вывода, сгенерированного ИИ, и может заставить модель прекратить вывод после команды на остановку, сообщает Cryptopolitan.
Как быстро Control Room останавливает модель?
Уже через 35 секунд после получения команды на остановку. Эта цифра не включает время на обнаружение проблемы.
Охватывают ли эти защиты всё, к чему имеет доступ ИИ-агент?
Нет. По данным отчёта, у агента может оставаться доступ к другим инструментам, учётным данным или сетевым подключениям, которые защиты не охватывают.
Материал носит информационный характер. Это не финансовая, инвестиционная или юридическая консультация. Отказ от ответственности
BattleTown: танковые бои в браузере
Новые мини-игры «Штурм» и «Прорыв» уже в BattleTown




Комментарии: 0 комментариев