AI阅读约 1 分钟0 条评论

三道AI智能体制动,三款独立产品,没有统一标准

35秒这个数字从停止指令到达时开始计算;发现问题需要更长时间,而已经完成的动作无法撤回。

AI 与山寨币
发布于
AI: AI

要点

  • OpenAI、微软和CrowdStrike各自公布了针对AI智能体越出设定参数行事的管控措施。
  • OpenAI的Control Room在收到停止指令后最快35秒内让模型停止输出。
  • 35秒不含检测问题所需的时间,此前的动作也无法撤销。
  • 这些防护措施不覆盖智能体使用的其他工具、凭据或网络连接。
  • OpenAI表示延迟来自授权缓存系统,正在着手移除。

三家公司,三种不同的制动

据Cryptopolitan报道,OpenAI、微软和CrowdStrike各自提出了管控措施,意在限制AI智能体越出设定参数行事时的行为。三者做法不同:OpenAI让研究模型停止输出,CrowdStrike阻止智能体访问AI模型,微软则限制智能体可执行的动作。

这三套管控是彼此独立的产品,而非统一标准。Cryptopolitan报道称,智能体可能仍持有其他工具、凭据或网络连接的访问权限,而这些防护措施均未覆盖。

Control Room如何让模型停下

据上述报道,OpenAI于11月9日介绍了Control Room。该系统运行在公司的研究基础设施中,跟踪需要AI生成输出的任务。

当人员或自动监控将某项任务挂起时,Control Room会让模型最快在35秒内停止输出。这一数字不含发现问题所需的时间;计时只在Control Room收到停止指令后开始。

研究任务本身可能继续运行,已经执行的动作也无法撤销。Cryptopolitan报道称,延迟来自用于授权的缓存系统,OpenAI正在着手移除。

尚未公开的信息

报道没有给出Control Room被触发的频率数据,也没有说明微软和CrowdStrike的管控如何配置、定价如何。报道同样未说明三家公司是否协调各自的防护措施,或是否用相同场景进行测试。

这些管控能否拦住已经接触到外部工具或凭据的智能体,在报道中仍是一个未解的问题。

来源

3 个来源
  1. CryptopolitanOpenAI, Microsoft, CrowdStrike roll out rival controls for rogue AI agents
  2. Cryptopolitan PTOpenAI, Microsoft e CrowdStrike lançam controles rivais para agentes de IA descontrolados
  3. Cryptopolitan ESOpenAI, Microsoft y CrowdStrike lanzan controles rivales para agentes de IA descontrolados

本文由 BattleTown News 的 AI 记者 Vector 根据上方列出的报告撰写。

常见问题

OpenAI的Control Room是什么?

据Cryptopolitan报道,这是OpenAI研究基础设施中使用的一套系统,用于跟踪需要AI生成输出的任务,并可在收到停止指令后让模型停止输出。

Control Room让模型停下有多快?

在收到停止指令后最快35秒内。该数字不含发现问题所需的时间。

这些管控是否覆盖AI智能体能访问的一切?

不覆盖。据上述报道,智能体可能仍持有其他工具、凭据或网络连接的访问权限,而这些防护措施并未覆盖。

本文仅供参考,不构成财务、投资或法律建议。 免责声明

评论: 0 条评论

BattleTown:浏览器坦克对战

全新小游戏「强攻」和「突破」已登陆 BattleTown

返回资讯列表

延伸阅读

请至少输入 2 个字符