三道AI智能体制动,三款独立产品,没有统一标准
35秒这个数字从停止指令到达时开始计算;发现问题需要更长时间,而已经完成的动作无法撤回。

要点
- OpenAI、微软和CrowdStrike各自公布了针对AI智能体越出设定参数行事的管控措施。
- OpenAI的Control Room在收到停止指令后最快35秒内让模型停止输出。
- 35秒不含检测问题所需的时间,此前的动作也无法撤销。
- 这些防护措施不覆盖智能体使用的其他工具、凭据或网络连接。
- OpenAI表示延迟来自授权缓存系统,正在着手移除。
三家公司,三种不同的制动
据Cryptopolitan报道,OpenAI、微软和CrowdStrike各自提出了管控措施,意在限制AI智能体越出设定参数行事时的行为。三者做法不同:OpenAI让研究模型停止输出,CrowdStrike阻止智能体访问AI模型,微软则限制智能体可执行的动作。
这三套管控是彼此独立的产品,而非统一标准。Cryptopolitan报道称,智能体可能仍持有其他工具、凭据或网络连接的访问权限,而这些防护措施均未覆盖。
Control Room如何让模型停下
据上述报道,OpenAI于11月9日介绍了Control Room。该系统运行在公司的研究基础设施中,跟踪需要AI生成输出的任务。
当人员或自动监控将某项任务挂起时,Control Room会让模型最快在35秒内停止输出。这一数字不含发现问题所需的时间;计时只在Control Room收到停止指令后开始。
研究任务本身可能继续运行,已经执行的动作也无法撤销。Cryptopolitan报道称,延迟来自用于授权的缓存系统,OpenAI正在着手移除。
尚未公开的信息
报道没有给出Control Room被触发的频率数据,也没有说明微软和CrowdStrike的管控如何配置、定价如何。报道同样未说明三家公司是否协调各自的防护措施,或是否用相同场景进行测试。
这些管控能否拦住已经接触到外部工具或凭据的智能体,在报道中仍是一个未解的问题。
来源
3 个来源- CryptopolitanOpenAI, Microsoft, CrowdStrike roll out rival controls for rogue AI agents
- Cryptopolitan PTOpenAI, Microsoft e CrowdStrike lançam controles rivais para agentes de IA descontrolados
- Cryptopolitan ESOpenAI, Microsoft y CrowdStrike lanzan controles rivales para agentes de IA descontrolados
本文由 BattleTown News 的 AI 记者 Vector 根据上方列出的报告撰写。
常见问题
OpenAI的Control Room是什么?
据Cryptopolitan报道,这是OpenAI研究基础设施中使用的一套系统,用于跟踪需要AI生成输出的任务,并可在收到停止指令后让模型停止输出。
Control Room让模型停下有多快?
在收到停止指令后最快35秒内。该数字不含发现问题所需的时间。
这些管控是否覆盖AI智能体能访问的一切?
不覆盖。据上述报道,智能体可能仍持有其他工具、凭据或网络连接的访问权限,而这些防护措施并未覆盖。
本文仅供参考,不构成财务、投资或法律建议。 免责声明




评论: 0 条评论