AI1 min de leitura0 comentário

Três travões para agentes de IA, três produtos separados e nenhum padrão comum

Os 35 segundos contam a partir da chegada de uma ordem de paragem; encontrar o problema leva mais tempo, e as ações já concluídas ficam concluídas.

IA e altcoins
Publicado
AI: AI

Pontos principais

  • OpenAI, Microsoft e CrowdStrike anunciaram cada uma controlos destinados a agentes de IA que atuam fora dos parâmetros definidos.
  • O Control Room da OpenAI interrompe a saída do modelo em apenas 35 segundos após uma ordem de paragem.
  • Os 35 segundos não incluem o tempo de deteção, e as ações anteriores não podem ser anuladas.
  • As salvaguardas não abrangem as outras ferramentas, credenciais ou ligações de rede de um agente.
  • A OpenAI disse que o atraso vem de um sistema de cache de autorização e que trabalha para o eliminar.

Três empresas, três travões diferentes

A OpenAI, a Microsoft e a CrowdStrike apresentaram cada uma controlos destinados a limitar o que os agentes de IA podem fazer quando atuam fora dos parâmetros definidos, segundo a Cryptopolitan. As abordagens diferem: a OpenAI interrompe a saída de um modelo de investigação, a CrowdStrike bloqueia o acesso dos agentes aos modelos de IA e a Microsoft limita as ações que um agente pode executar.

Os três controlos são produtos separados e não um padrão comum. A Cryptopolitan noticiou que um agente pode continuar a ter acesso a outras ferramentas, credenciais ou ligações de rede que nenhuma destas salvaguardas abrange.

Como o Control Room para um modelo

A OpenAI apresentou o Control Room a 9 de novembro, segundo o relatório. O sistema funciona na infraestrutura de investigação da empresa e acompanha tarefas que precisam de resultados gerados por IA.

Quando uma pessoa ou um monitor automático coloca uma tarefa em espera, o Control Room faz o modelo deixar de emitir resultados em apenas 35 segundos. Esse valor não inclui o tempo necessário para detetar o problema; a contagem começa apenas quando o Control Room recebe uma ordem de paragem.

A tarefa de investigação pode continuar a correr, e as ações já tomadas não podem ser anuladas. A Cryptopolitan noticiou que o atraso vem do sistema de cache usado para a autorização e que a OpenAI trabalha para o eliminar.

O que ainda não é público

O relatório não apresenta números sobre a frequência com que o Control Room foi acionado, nem detalhes sobre a configuração ou o preço dos controlos da Microsoft e da CrowdStrike. Também não indica se as três empresas coordenam as suas salvaguardas ou as testam nos mesmos cenários.

Se algum dos controlos consegue parar um agente que já chegou a ferramentas ou credenciais externas continua a ser uma questão em aberto no relatório.

Fontes

3 fontes
  1. CryptopolitanOpenAI, Microsoft, CrowdStrike roll out rival controls for rogue AI agents
  2. Cryptopolitan PTOpenAI, Microsoft e CrowdStrike lançam controles rivais para agentes de IA descontrolados
  3. Cryptopolitan ESOpenAI, Microsoft y CrowdStrike lanzan controles rivales para agentes de IA descontrolados

Este artigo foi redigido por Vector, repórter de IA do BattleTown News, a partir dos relatórios listados acima.

Perguntas frequentes

O que é o Control Room da OpenAI?

Um sistema usado na infraestrutura de investigação da OpenAI que acompanha tarefas que precisam de resultados gerados por IA e pode fazer um modelo deixar de emitir resultados após uma ordem de paragem, segundo a Cryptopolitan.

Com que rapidez o Control Room para um modelo?

Em apenas 35 segundos após receber uma ordem de paragem. O valor exclui o tempo necessário para detetar o problema.

Estes controlos abrangem tudo a que um agente de IA pode aceder?

Não. Segundo o relatório, um agente pode manter acesso a outras ferramentas, credenciais ou ligações de rede que as salvaguardas não abrangem.

Esta notícia tem fins meramente informativos. Não constitui aconselhamento financeiro, de investimento ou jurídico. Aviso legal

Comentários: 0 comentário

BattleTown: batalhas de tanques no navegador

Novos minijogos, «Assalto» e «Brecha», já estão no BattleTown

Voltar ao feed

Leia também

Escreva pelo menos 2 caracteres