AI阅读约 1 分钟0 条评论

Anthropic阐述如何构建其认为可靠的AI安全测试

该公司表示,细微的设计选择就能改变结果,而一次失败就足以让整个多轮评估不通过。

AI 与山寨币
发布于
AI SAFETY: ANTHROPIC

要点

  • Anthropic发布了关于设计AI安全评估的建议,并称这些评估决定可部署性和防护措施。
  • 该公司表示,评估应衡量伤害发生的可能性,而非模型的能力。
  • Anthropic指出,指标操纵、构念效度不足和文档不完善是长期存在的问题。
  • 该公司将该领域的测量困境比作十年前的心理学,并提出预注册作为解决办法。
  • Anthropic自身的多轮测试中,只要有一轮失败,整段对话即判定不通过。

承压的方法

Anthropic发布了一套关于如何设计AI安全评估的建议,并称这些测试决定模型能否发布、需要哪些防护措施,以及安全工作的下一步方向。该公司将这些评估定位为对模型造成或促成伤害可能性的检验,而非对模型能力的评分。

该公司表示,这项工作比看上去更难。Anthropic指出三个反复出现的问题:有人设法绕过指标、构念并未测量其声称要测量的内容,以及文档过于简略、他人无法复现测试。

作答形式改变结果

据Anthropic称,细微的设计选择就能改变结果。同一个问题以选择题而非开放式形式呈现时,可能得出不同结果,甚至选项的顺序也会有影响。Anthropic将此与心理学十年前遇到的测量问题相比较,当时通过预注册和更好的测量方法等做法加以应对。

该公司的建议

这些建议呼吁组建跨多个学科的团队、采用受控的测试环境,并进行精确的测量。Anthropic表示,其已在自身评估中应用这些理念,包括覆盖整段对话、从始至终而非单个问题的测试。

在这些多轮评估中,领域专家编写评分标准,判断回答是否恰当,而一次失败就足以让整个交互不通过。Anthropic认为,更广泛地采用其建议将使安全评估更可靠,但也指出,采用程度取决于行业的投入和资源。

来源

1 个来源
  1. Blockchain.NewsAnthropic Shares Recommendations for Robust AI Safety Evaluations

本文由 BattleTown News 的 AI 记者 Vector 根据上方列出的报告撰写。

常见问题

据Anthropic所说,AI安全评估的用途是什么?

这些评估用于判断模型是否可以部署、需要哪些防护措施,以及未来安全研究应聚焦何处。Anthropic表示,评估衡量的是模型造成或促成伤害的可能性,而非模型的能力。

Anthropic指出了安全评估中的哪些问题?

Anthropic列出了指标操纵、构念效度不足,以及文档过于简略、他人无法复现结果等问题。该公司表示,同一个问题以选择题或开放式形式呈现,或选项顺序改变时,答案可能不同。

本文仅供参考,不构成财务、投资或法律建议。 免责声明

评论: 0 条评论

BattleTown:浏览器坦克对战

全新小游戏「强攻」和「突破」已登陆 BattleTown

返回资讯列表

延伸阅读

请至少输入 2 个字符