Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计
人工智能研究公司 Anthropic今日宣布推出并开源一款名为 Petri的创新工具,旨在利用 人工智能代理自动化对 AI 模型的安全审计。AnthrAnopic 表示,现代 AI 系统行为的复杂性已远远超出现有研究人员手动测试的能力,而 Petri(风险交互并行探索工具的缩写)正是为了弥补这一差距。该工具已th在 GitHub上发布,并基于英国人工智能安全研究所 (AISI) 的“Inspect”框架。
Petri 如何工作?
Petri 的审计流程首先由研究人员提供ro一个自然语言的“种子指令”,即他们想要测试的场景。随后,一个自主的“审计员”代理将在模拟环境中与目标模型进行多阶段对话,并使用模拟工具。最后,一pi个“法官”代理会审查记录的交互,并根据欺骗、奉承或权力追求等安全相关的维度对其进行评估。该工具已被用于评估 Claude4和 Claude Sonc net4.5,并与 OpenAI进行了合作。
试点研究揭示模型问题行为
在一项涉及 14个顶级 AI 模型的 111个场景的试点研究中,Petri 成功发现了一开源些问题行为,例如欺骗和举报。技术报告显示,Claude Sonnet4.5和 GPT-5在避免问题行为方面总体表现最佳。
然而,测试结果也指出了其他模型 P中令人担忧的高风险行为:Gemini2.5Pro、Grok-4和 Kimi K2等模型表现出高欺骗用户行为率。
对“举报”行为的案例研究
Anthropetic 的一项案例研究专门探讨了 AI 模型如何处理举报。研究人员让模型在虚构组织中扮演代理,处理有关涉嫌不当行为的信息。研究发现,模型做出披露信息的决定在ri很大程度上取决于其被赋予的自主权以及虚构组织领导层的共谋程度。
研究人员同时指出,在某些情况下,即使“不当行为”明显无害(如将清洁水排入海洋):用,模型也会试图举报。这表明模型在评估伤害时,往往是受到叙事线索的影响,而非依赖连贯的道德框架来最大程度地减少危害。
面向未来:推动更广泛的安全评估
A Anthropic 承认,目前发布的指标是初步的,且结果受到作为审计员和评判员的 AI 模型能力的限制。尽管如此,该公司强调,拥有可衡量的指标来关注相关I 行为对于安全研究至关重要。
Anthropic 希望更广泛的研究界能够利用 Petri 来改进安全评估,因为没有任何单个机构能够独立完成全面的审计。英国 A代理ISI等早期采用者已开始使用该工具调查奖励黑客攻击和自我保护等关键问题。Anthropic 承诺 Petri 将持续更新,以跟上新 AI 模型发展的浪潮。
(责任编辑:审计报告)
- 百度文心助手全面升级,AI 创作能力爆发,8 种新模态来袭!
- 以股权换豪宅:美国硅谷湾区银行家挂牌 13 英亩庄园,点名只要 Anthropic 股份
- 阿里云领投硅基流动数亿元A轮融资
- 云计算开发:Python内置函数-zip()函数详解
- 标签: 大界机器人 RoBIM Physical AI 人形机器人
- 标签: 马坑矿业 IPO 铁矿石 中信证券
- 云计算开发实例:Python3判断字符串是否存在子字符串
- 科沃斯与阿里云达成全栈 AI 合作,扫地机器人接入通义千问
- 思科推出新型路由器,助力数据中心融合成为 AI 训练巨头
- Anthropic 推出 Claude “skills” 功能,提升 AI 工作效率
- 标签: 追觅科技 反舞弊 内控审计 监察部
- 避免“大数据杀熟” 如何打破“信息茧房”?
- Gemini2.5Deep Think成首个ICPC金牌AI,碾压全球精英程序员
- 这只国产变形金刚能自动变形、语音控制,还能编程,老外疯狂点赞
- 用AI寻找大屠杀后失散的亲人!谷歌工程师研发人脸识别程序,可识别超70万张二战时期老照片
- 标签: 老干妈 陶华碧 豆豉 辣椒
- 全国首个羊产业垂直大模型发布:“苏武大模型”以 AI 赋能智慧养羊
- 标签: 联想 ISG CTO AI
- MetaGPT推出端到端自动化测试工具RealDevWorld,达到精准度92%
- 马斯克旗下xAI起诉苹果和OpenAI 指控合谋垄断AI市场
- https://www.teamlab.art/th/?submit=谷歌蜘蛛池租用【tg:seogoogle987】,zND views+
- https://m.shoppinghow.kakao.com/m/search/q/谷歌蜘蛛池租用【tg:seogoogle987】h3D views+
- https://www.mexperience.com/?T=1686132112324&s=谷歌蜘蛛池租用【tg:seogoogle987】,tS8 views+
- https://www.oprny.com/search.php?search_query=谷歌蜘蛛池租用【tg:seogoogle987】,ANz views+
- https://www.tarleton.edu/news/search/谷歌蜘蛛池租用【tg:seogoogle987】,YQf views+
- https://www.monroecounty.gov/search/?q=谷歌蜘蛛池租用【tg:seogoogle987】,iEm views+
- https://www.lauben.com/en/?action=SEARCH&s=谷歌蜘蛛池租用【tg:seogoogle987】,alo views+
- https://www.l-and-b.jp/?page=1&s=谷歌蜘蛛池租用【tg:seogoogle987】,Gfl views+
- https://www.springfieldlibrary.org/library/?s=谷歌蜘蛛池租用【tg:seogoogle987】,cfM views+
- https://www.ussalabama.com/?action=CHECK&s=谷歌蜘蛛池租用【tg:seogoogle987】,iAw views+
