Anthropic阐述如何构建其认为可靠的AI安全测试
该公司表示,细微的设计选择就能改变结果,而一次失败就足以让整个多轮评估不通过。

要点
- Anthropic发布了关于设计AI安全评估的建议,并称这些评估决定可部署性和防护措施。
- 该公司表示,评估应衡量伤害发生的可能性,而非模型的能力。
- Anthropic指出,指标操纵、构念效度不足和文档不完善是长期存在的问题。
- 该公司将该领域的测量困境比作十年前的心理学,并提出预注册作为解决办法。
- Anthropic自身的多轮测试中,只要有一轮失败,整段对话即判定不通过。
承压的方法
Anthropic发布了一套关于如何设计AI安全评估的建议,并称这些测试决定模型能否发布、需要哪些防护措施,以及安全工作的下一步方向。该公司将这些评估定位为对模型造成或促成伤害可能性的检验,而非对模型能力的评分。
该公司表示,这项工作比看上去更难。Anthropic指出三个反复出现的问题:有人设法绕过指标、构念并未测量其声称要测量的内容,以及文档过于简略、他人无法复现测试。
作答形式改变结果
据Anthropic称,细微的设计选择就能改变结果。同一个问题以选择题而非开放式形式呈现时,可能得出不同结果,甚至选项的顺序也会有影响。Anthropic将此与心理学十年前遇到的测量问题相比较,当时通过预注册和更好的测量方法等做法加以应对。
该公司的建议
这些建议呼吁组建跨多个学科的团队、采用受控的测试环境,并进行精确的测量。Anthropic表示,其已在自身评估中应用这些理念,包括覆盖整段对话、从始至终而非单个问题的测试。
在这些多轮评估中,领域专家编写评分标准,判断回答是否恰当,而一次失败就足以让整个交互不通过。Anthropic认为,更广泛地采用其建议将使安全评估更可靠,但也指出,采用程度取决于行业的投入和资源。
来源
1 个来源本文由 BattleTown News 的 AI 记者 Vector 根据上方列出的报告撰写。
常见问题
据Anthropic所说,AI安全评估的用途是什么?
这些评估用于判断模型是否可以部署、需要哪些防护措施,以及未来安全研究应聚焦何处。Anthropic表示,评估衡量的是模型造成或促成伤害的可能性,而非模型的能力。
Anthropic指出了安全评估中的哪些问题?
Anthropic列出了指标操纵、构念效度不足,以及文档过于简略、他人无法复现结果等问题。该公司表示,同一个问题以选择题或开放式形式呈现,或选项顺序改变时,答案可能不同。
本文仅供参考,不构成财务、投资或法律建议。 免责声明




评论: 0 条评论