跳到正文
认知
返回认知精选
认知精选AI2 天前15
单一来源当前只有一个可用来源,尚未完成多源交叉核验

我关于开源模型与网络风险的判断错了吗?

上周在一系列严重的漏洞披露事件后,包括 PHP2Shell 和 GitLab,创造了“Black October”一词,标志着 AI 模型网络风险开始显现的时刻。当我开始写这篇文章时,新闻周期似乎稍微稳定了一些,但随后又传来了关于 Binance 另一起重大加密货币安全事件的消息。

加密货币行业有着非常漫长的黑客历史,所以它并不是一个能很好地表明漏洞转化为新社会危害的指标。不过,我们确实正在经历这些后果的冲击。

对于网络安全领域正在发生的事情,最好的猜测是幕后的工作只会加速,让更多人投入资源来修补互联网——华尔街日报报道网络安全应急响应人员已不堪重负,这似乎表明系统正在正常运转。我们正经历着漏洞呈指数级上升的情节,这将需要很长时间才能在 S 型曲线的顶部趋于平稳。

几周前,在漏洞披露迅速加速和报告的黑客事件增加之前,我写了以下观点。它收到了相当一致的反馈,有些是绝望的嘲讽,也有一些合理的讨论,所以我想剖析一下我的立场。

ShareOpen-weight Mythos 在四月发布会没事吗?当 Claude Mythos 宣布时,它被预览为一种新型网络武器,如果落入错误之手,将造成大规模的社会动荡。

看来这是错误的。根据所有衡量标准,GLM-5.3 是跨越了该能力门槛的模型,几乎没有公开证据表明发生了太大变化,而且距离模型权重发布已经过去了一个多月。

事实上,我想进一步说。如果 Claude Mythos 被意外作为开放权重发布,世界似乎大体上会没事。是的,网络安全事件会明显增加,如果模型泄露,对社会来说将是糟糕的,但这更像是一种加速,而不是风险的跃升。

这波开放权重恐慌主义的主要倡导者实际上是在做出一个可证伪的预测——即当前的开放权重模型将通过瘫痪我们的网络基础设施,造成前所未有的重大 AI 伤害。

根据我所掌握的所有证据,正如我在上面所拆解的那样,他们注定会错。至少现在,在经过多年的开放权重风险辩论后,我们将开始得到一些真正的答案。

为了开始反思,我想做更多的尽职调查,并追踪一些关于“AI 安全社区反应得好像开放权重 Mythos 会是一场真正的灾难,而不仅仅是一个令人头疼的问题”这一说法的证据。这是我亲历在线讨论后留下的深刻印象。

我收到过批评,认为前沿 AI 社区从未说过这会是一场“真正的灾难”,但无论他们具体说了什么,关键始终在于人们如何听到并内化你的信息。以下是我觉得有些言过其实且来自知名人士的一些言论,这些言论溢出到了公众舆论中,更重要的是,也影响了联邦政府的看法,即这被视为一种网络武器:

80,000 Hours 播客主持人 Rob Wiblin 在自己的播客上(2026 年 4 月 10 日):“如果它落入罪犯或敌对国家网络行为者的手中,那将是一场真正的灾难。”

Anthropic 在 Project Glasswing 公告博客中(2026 年 4 月 7 日):“鉴于 AI 的进步速度,这种能力很快就会扩散,甚至可能扩散到那些承诺安全部署它们的行为体之外。其后果——对经济、公共安全和国家安全——可能是严重的。”

有一个例子其实更合理,可以说明正确与夸张之间的细微界限,来自 Zvi Mowshowitz(我在很多问题上并不完全同意他的观点)在 2026 年 4 月 9 日的话:“Claude Mythos 将给攻击者提供地球几乎所有软件的零日漏洞宝库……这将是一片混乱。

” 迄今为止,这种混乱仅限于那些运营大规模数字产品的人,这很好,但也可能改变。我大体上仍然坚持几周前写的那篇文章,但我对此感到担忧。我不是网络安全专家,我正努力做出我能做出的最明智的预测。

“我们的所有科技公司都需要加倍努力以保持我们的安全”和“公共基础设施实际上将崩溃”之间只有一线之隔。在撰写本文时,非常清楚的是,在流行工具中发现了多得多的关键漏洞,并且正在构建修复方案。

例如,Epoch AI 最近发布了一篇关于他们内部使用 GLM-5.3 尝试寻找漏洞并将其串联成潜在攻击的精彩文章。他们在 Firefox 中发现的实际漏洞是为什么网络安全风险需要多个因素对齐才会造成伤害的一个很好的例子:

我们使用 GLM 5.3 创建了一个网站,当 Firefox 用户访问该网站且无需进一步交互时,就给予攻击者从用户计算机中窃取文件的能力。

在这里,漏洞在 Firefox 中,潜在的黑客需要部署一个寻找此漏洞的网站。这是可行的,并且可能造成严重后果,但仅仅发现漏洞只是多阶段过程中的一个步骤。

在上一篇文章中,我应该对未来网络安全状况中的“良好”具体指什么更加明确,在这种情况下,这意味着更多地认可那些对此进行了合理讨论的 AI 安全社区,将其视为网络不稳定的全新时代。

回想起来,我不确定“fine”(还好)这个词是否恰当,用来描述不可避免即将到来的事物——即软件工作方式的一次强制行业更新,这显然会花费高昂代价,并伴随着一些艰苦的工作。如果你对 AI 带来的挑战已经感到沮丧,我认为“fine”其实非常贴切。

如果你没有将一段动荡期计入成本,那么“fine”就有些低估了。我多次写过,我属于前者,困难将会到来,集团——但我认为人类擅长在问题中摸索前行,并修补眼前的担忧。我的观点更接近于:开放模型正在为攻防方程提供平衡,而 Mythos(神话)来得更早并不会对此造成巨大颠覆。

我怀疑大多数公司会比攻击者更快采用开放权重模型,因为大多数攻击者的资源比这些公司少。我们关注的一个关键平衡点是,攻击者愿意在美国及其盟友境内造成物理伤害的程度如何。目前,虽然我们的对手可能已经利用这些模型和漏洞大规模地秘密提取信息,但尚不清楚是否有任何一方会通过将这些模型的全部力量推向公共机构来造成大规模伤害。

我认为这条推文是用一种有趣的方式总结了黑客活动中的一些人员/动机差距:

一旦你不再把威胁行为者视为想方设法入侵系统的黑客,而是开始把他们视为拥有明确业务流程的企业,生活就会容易得多。面包店不会因为狗粮短缺就开始生产狗粮。ClickFix 和网络钓鱼行为者不会仅仅因为出现了一个关键 CVE 就放下一切去“vibecode”(凭感觉编写)漏洞利用程序。

只有那些以利用事物为行事模式的行动者在利用这一点,这并非巧合。如果你理解威胁行为者的行为,这是完全可以预测的。

Interconnects AI 是一家读者支持的出版物。考虑成为订阅者。

就我目前的观察,我预计大多数这些漏洞是由封闭模型发现的,但我对这一预测的误差范围非常大。这很大程度上取决于开放模型在近期的实际使用情况。今天,开放模型的服务成本很高,而用于服务的计算资源……

Evidence

来源与证据

单一来源 · 1 个信源

当前仅有一个可用来源,尚未完成多源交叉核验。

发布时间
内容处理
AI 翻译 / 摘要,需结合原文核对
内容有误或来源失效?告诉我们

每天早上收到这 5 条

免注册,填邮箱即可;每封邮件都能一键退订。

提交即表示同意按隐私说明保存你的邮箱,只用于发送简报。

或用 RSS 订阅

AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。