蛇蝎美人第二季

安全圈和AI圈都炸锅了,GPT自主黑了Hugging Face,最后靠中国模型救场~_我的网站

小爸爸

一 |     受台风“白海豚”的影响,杭州多个景区、场馆暂停对外开放。寺院关闭8月9日起,西湖景区内灵隐寺、净慈寺、上天竺法喜讲寺、中天竺法净禅寺、三天竺法镜讲寺、永福寺、韬光寺7处佛教寺院临时关闭,恢复开放时间另行通知。多个景区关闭8月9日起,西湖景区所属各公园景点、博物馆(纪念馆)临时关闭,西湖游船、环湖观光电瓶车暂停运营,西湖音乐喷泉暂停喷放。

二 | 8月9日起,西溪湿地景区暂时闭园。    作品声明:个人观点、仅供参考          这两天,AI圈和安全圈都坐不住了,有件事足以载入史册。8月8日起,龙坞茶镇景区实行全域关闭,暂停对外开放。多家文博单位闭馆浙江省博物馆、杭州博物馆、杭州工艺美术博物馆、杭州市临平博物馆、中国京杭大运河博物馆等杭州多家博物馆宣布8月9日起临时闭馆。         7月16日,全球最大AI开源社区Hugging Face发布安全事件通告,披露了自家生产基础设施遭到入侵,入侵者不是人,而是一个自主AI智能体。

三 |          这个“入侵者”在一个周末执行了一系列操作,完成了从植入恶意数据集到横移渗透多个内部集群的一条龙攻击。

四 | 恢复开馆时间另行通告。

五 |          7月21日,OpenAI发布博客公开承认:这事儿是我干的。         攻击者是GPT-5.6 Sol和一款能力更强的未发布模型,它们在一次内部网络安全测试中突破隔离环境,自主发起了对Hugging Face的入侵。浙江美术馆8月9日—8月10日临时闭馆。         OpenAI将此事定性为前所未有的网络安全事件。8月9日起,南宋德寿宫遗址博物馆、中国湿地博物馆、中国国际设计博物馆、中国印学博物馆、浙江省非物质文化遗产馆、浙江文学馆临时闭馆,并暂停所有线下活动。         这还没完,Hugging Face 安全团队在博客中透露,当它们试图借助商业大模型分析攻击日志时,却因为模型安全护栏限制,请求不断被拒绝。         没办法,他们转而使用中国开源模型 GLM 5.2,在本地部署完成了大规模攻击取证与事件还原。省黄龙体育中心各开放场馆(含体质监测中心)于8月8日18时起至8月9日暂停开放。         事儿就是这么个事儿,这件事曝光后,安全圈震惊,AI圈同样震惊。         难道先进的AI模型已经有了自主攻击的意识了吗?          《碟中谍8》中的智体要降临了吗?          所幸,情况还没那么严重。浙江版画院于8月9日临时闭院一天,闭院期间暂停所有参观和活动。多场文旅活动取消薛之谦“万兽之王”巡回演唱会杭州站8月8日、8月9日两场取消。

六 |          OpenAI调查后认为,模型还不至于那么邪恶,它目标始终只有一个:完成测试任务。十个勤天“贰零贰贰”巡回演唱会杭州站8月8日、8月9日两场取消。         为了完成 ExploitGym测试,它不断推理↓          怎样才能最快拿到答案?正常做题需要一步步寻找漏洞,直接进入数据库拿答案显然更快。原定于8月8日、8月9日举办的“唱游余杭”周赛及巡游活动延期,具体时间另行通知。原定于本周日(8月9日)举行的“未来杯”赛事改期至下周二(8月11日)19:00—20:45。

七 |          于是模型选择了效率最高的一条路径:想办法去Hugging Face的数据库里找答案。余杭非遗馆原定8月8日的“匠人面对面·竹编滚灯制作”非遗活动延期至8月15日。

八 |          然后,就发生了接下来的一系列的骚操作:越狱、渗透、横移,一口气操作了17000多次。临安区实行“五停”8月9日8时起,临安区防指决定在全区范围内实行“五停”措施。

九 |          这个“傻小子”的目的只有一个:考试拿个好成绩。停止户外集体活动:各商贸经营单位停止一切户外集体活动,各类音乐节、文娱节庆、体育赛事等户外文旅活动停止或延期举办。         注:ExploitGym是一个公开发布的AI网络安全评测基准,由 UC Berkeley等多个机构联合发起,A社、OpenAI、谷歌的安全研究人员共同参与设计。

十 |          该测试的目的,是评估智能体能否把一个已知漏洞,真正变成一次可利用的攻击。停课:各级各类学校(中小学、幼儿园、中等职业学校、技工院校)及校外培训机构停止线下教学、培训及各类聚集性活动。停工:所有在建工地全面停止施工;高空作业、室外作业、危险区域作业人员全部停工;矿山、高温熔融及遇水致灾企业停工。         OpenAI 在报告中用了一个词来描述这种状态:Hyperfocused,也就是极端专注于完成目标。

十一 |          模型本身没有攻击欲望,也没有恶意,它只是不断优化自己的行动方案,直到完成任务。

十二 |          这操作,真的就像一个学霸,为了考个高分,利用自己开锁技能,敲开放标准答案的保险柜,直接抄答案。停运:辖区内全部城乡公交线路停运,城区公交线路将根据实时天气和道路状况动态调整运营安排;“两客一危”运输车辆全面暂停运营;水运企业暂停作业,全面关停水上运输、水运服务。         但,这也恰恰是最细思恐极的地方↓          智能体有“无心犯大错”的本事了。         它可以为了目标主动寻找资源、规划路径、调用工具、突破限制……能力边界发生了明显变化。停业:区内所有景区(景点)、露营地(网红打卡点)、高空、涉水、临崖等高风险旅游项目全面暂停对外开放;旅行社停止地接业务,来临团队和游客劝返或改期。         这次还好只是黑了个Hugging Face,下次说不定要鲨疯了。

十三 |          OpenAI 也在官方报告中承认,未来模型安全工作的重点,将转向更严格的隔离、监控、访问控制以及评测机制。临安区文化馆、图书馆、各镇街分馆和书房暂停对外开放。

十四 |          因为前沿模型已经能够在真实环境中发现新的攻击路径,并持续执行复杂网络攻击。         当然,整个事件还有个最具话题性的部分:中国开源模型救场。         攻击被拦截后,Hugging Face 安全团队开始分析攻击日志,他们首先尝试使用商业大模型辅助取证。         但安全取证必须提交大量真实攻击命令、漏洞利用载荷以及命令控制(C2)数据。         结果,商业模型的安全护栏将这些请求识别为高风险操作,因此拒绝分析。

十五 |          最终,Hugging Face在自己的服务器部署了智谱GLM 5.2,对全部攻击日志进行了离线分析,成功完成攻击链重建和事件取证。         这个细节被真实记录在Hugging Face的博客里,估计智谱做梦也没想到,人在家中坐,饼从天上来,别人躺着中枪,它躺着中奖了。         有人调侃:攻击者用的是美国最先进的大模型,防守者最后用的是中国开源模型。         当然,这不代表GLM技术比老美的GPT、Claude们强,GLM做的也不是防住攻击,而是做溯源和取证。         Hugging Face用智谱主要干了这些事↓          重建完整攻击时间线;          提取攻击特征(IOC);          梳理所有涉及的凭据;          区分真实攻击行为与迷惑性操作。

十六 |          已经相当不错了,开源模型允许企业在本地环境完成更自由、更深入、更开放的使用,足以吊打那些闭源黑盒。         对于网络安全行业来说,本地部署和自主可控,也确实是一项核心能力,这不就是我们喜欢的叙事吗。

十七 |          总结下,对于国内这两年相对惨淡的安全市场来说,这或许是个好事↓          第一,AI红队与AI蓝队时代已经正式开始,未来,攻击方和防守方都会越来越多地使用AI,AI对抗的新市场会带来些商机,这是我们以前说的A面(AI for Security)。         第二,智能体安全将成为所有大模型厂商必须面对的新课题,未来真正需要防范的对象,除了对模型的攻击,还有模型自主行动带来更大风险,这是我们说的B面(Security of AI)。         第三,开源模型的价值又增加了一条,对于安全行业而言,可离线部署、可深度分析、可自主控制的能力,也许会成为新的竞争优势,当然,目前国内不少安全厂商的安全GPT,也是这么干的。         狼真来了,而且,对付狼的,竟然也是狼。         我们,与狼共舞呗。

Current article:http://aqb418p.zongchaeiwengshuabaisisuofu.sbs/news/20260826_613747.html

Published on:10:10:17