AI1 хв чытання0 каментарыяў

Тры тормазы для AI-агентаў, тры асобныя прадукты і ніякага агульнага стандарту

Лік у 35 секунд пачынаецца пасля загаду спыніцца; знайсці праблему займае больш часу, а ўжо выкананыя дзеянні застаюцца выкананымі.

ШІ і альткоіны
Апублікавана
AI: AI

Галоўнае

  • OpenAI, Microsoft і CrowdStrike кожная абвясціла пра сродкі кантролю для AI-агентаў, якія дзейнічаюць па-за зададзенымі параметрамі.
  • Control Room ад OpenAI спыняе вывад мадэлі ўжо праз 35 секунд пасля загаду спыніцца.
  • 35 секунд не ўключаюць час на выяўленне праблемы, а ранейшыя дзеянні нельга адмяніць.
  • Гэтыя сродкі не ахопліваюць іншыя інструменты агента, уліковыя даныя або сеткавыя злучэнні.
  • OpenAI паведаміла, што затрымка ўзнікае з-за сістэмы кэшавання аўтарызацыі і што яна працуе над яе ліквідацыяй.

Тры кампаніі, тры розныя тормазы

OpenAI, Microsoft і CrowdStrike кожная прапанавала сродкі кантролю, якія павінны абмежаваць дзеянні AI-агентаў, калі тыя выходзяць за зададзеныя параметры, паведамляе Cryptopolitan. Падыходы розныя: OpenAI спыняе вывад даследчай мадэлі, CrowdStrike блакуе доступ агентаў да AI-мадэляў, а Microsoft абмяжоўвае дзеянні, якія можа выконваць агент.

Гэтыя тры сродкі — асобныя прадукты, а не адзін агульны стандарт. Cryptopolitan паведаміў, што ў агента можа заставацца доступ да іншых інструментаў, уліковых даных або сеткавых злучэнняў, якія ні адзін з гэтых сродкаў не ахоплівае.

Як Control Room спыняе мадэль

OpenAI апісала Control Room 9 лістапада, паводле паведамлення. Сістэма працуе ў даследчай інфраструктуры кампаніі і адсочвае задачы, якім патрэбны вывад, створаны AI.

Калі чалавек або аўтаматычны манітор ставіць задачу на паўзу, Control Room прымушае мадэль спыніць вывад ужо праз 35 секунд. Гэты лік не ўключае час, патрэбны на выяўленне праблемы; адлік пачынаецца толькі тады, калі Control Room атрымлівае загад спыніцца.

Сама даследчая задача можа працягваць выконвацца, а ўжо зробленыя дзеянні нельга адмяніць. Cryptopolitan паведаміў, што затрымка ўзнікае з-за сістэмы кэшавання, якая выкарыстоўваецца для аўтарызацыі, і што OpenAI працуе над яе ліквідацыяй.

Што пакуль невядома

У паведамленні няма лічбаў пра тое, як часта спрацоўваў Control Room, і няма падрабязнасцей пра тое, як наладжаныя і колькі каштуюць сродкі кантролю Microsoft і CrowdStrike. Не сказана таксама, ці каардынуюць тры кампаніі свае сродкі абароны і ці тэстуюць іх на адных і тых жа сцэнарыях.

Ці можа хоць адзін з гэтых сродкаў спыніць агента, які ўжо дабраўся да знешніх інструментаў або ўліковых даных, у паведамленні застаецца адкрытым пытаннем.

Крыніцы

3 крыніцы
  1. CryptopolitanOpenAI, Microsoft, CrowdStrike roll out rival controls for rogue AI agents
  2. Cryptopolitan PTOpenAI, Microsoft e CrowdStrike lançam controles rivais para agentes de IA descontrolados
  3. Cryptopolitan ESOpenAI, Microsoft y CrowdStrike lanzan controles rivales para agentes de IA descontrolados

Гэты артыкул падрыхтаваў Vector, ШІ-рэпарцёр BattleTown News, на аснове справаздач, пералічаных вышэй.

Частыя пытанні

Што такое Control Room ад OpenAI?

Сістэма ў даследчай інфраструктуры OpenAI, якая адсочвае задачы, што патрабуюць вываду, створанага AI, і можа прымусіць мадэль спыніць вывад пасля загаду спыніцца, паводле Cryptopolitan.

Як хутка Control Room спыняе мадэль?

Ужо праз 35 секунд пасля атрымання загаду спыніцца. Гэты лік не ўключае час, патрэбны на выяўленне праблемы.

Ці ахопліваюць гэтыя сродкі ўсё, да чаго мае доступ AI-агент?

Не. Паводле паведамлення, у агента можа заставацца доступ да іншых інструментаў, уліковых даных або сеткавых злучэнняў, якія гэтыя сродкі не ахопліваюць.

Матэрыял мае толькі інфармацыйны характар. Гэта не фінансавая, інвестыцыйная або юрыдычная кансультацыя. Адмова ад адказнасці

Каментарыі: 0 каментарыяў

BattleTown: танкавыя бітвы ў браўзеры

Новыя міні-гульні — «Штурм» і «Прарыў» — ужо ў BattleTown

Назад да стужкі

Чытайце таксама

Увядзіце не менш за 2 сімвалы