播客：Kimi K3.1 Pro、赛博现实与 Muse 思考

我们——Nathan和Florian——想要讨论繁忙的一周中AI领域所有令人头疼的权衡取舍，并询问所有紧迫的问题，比如：为什么 Kimi K3.1 Pro 尽管拥有惊人的基准测试成绩，却反响两极分化？

它会被采用吗？我们对开放权重模型和网络安全风险的看法是否错了？为什么网络安全专家对近期事件的讨论与AI专家如此不同？未来几个月会发生什么？什么会改变我们的想法？我们将就这个主题写更多文章，但希望带你了解幕后的情况，因为我们渴望快速了解网络安全行业以及过去几年引领我们走向今天的趋势。

我们在播客的最后聊了一些轻松的话题，从“Muse-maxing”（沉迷于Muse）到对仍在招聘初级技术人才的兴奋。请向我们发送问题和话题，因为我们计划未来录制更多此类播客。分享在 Apple Podcasts、Spotify 以及你获取播客的任何平台上收听。

有关其他 Interconnects 播客，请点击此处。YouTube ↓章节00:00 Kimi K3.1 反应08:15 Kimi 的开放权重网络安全原则11:23 你可以黑掉一切的时代15:54 PHP2Shell、LiteLLM 和新互联网24:00 消融的 API、防护措施和可信访问31:41 Anthropic 不招聘初级员工36:16 Florian 的 Muse 上瘾45:30 总结我们讨论的链接我与 Dean Ball 关于前沿实验室“狼来了”故事的推文Kimi K3.1 Pro 发布博客Kimi K3.1 Pro 在 Artificial Analysis 智能指数上的表现Kimi K3.1 在 Artificial Analysis 防御性网络安全基准测试上的表现Program Bench开放权重神话本该没问题PHP“尚未造成灾难”更新Abliteration.ai 提供消融模型 APIMorph 通过 API 提供消融的 DeepSeekJoshua Saxe 关于 AI 和网络安全的 SubstackAzeem Azhar，“互联网的武汉时刻”Anthropic，“Anthropic 就业变化情况”LiteLLM 安全事件报告00:00:00 Nathan Lambert：我们回来了，带来新一期 Interconnects 播客。

我们和 Florian 在一起，他是评估专家，最近搬到了旧金山。Florian，Kimi K3.1 Pro，名字真拗口，它能否兑现基准测试分数，例如在 Artificial Analysis 上，或者它最终会落在哪里？

00:00:17 Florian Brand：过去，Kimi 模型总是符合预期，但这次发布与其他模型相比有点奇怪。我认为部分原因也是因为他们变得更加专业了，而之前的模型发布有些突如其来。

这一次，虽然也受到了一些批评，但他们发起了一场更大的社交媒体活动，据称还涉及花钱让人发布关于该模型的内容而不披露。00:00:56 Nathan Lambert：我认为很多公司都会这样做并告诉你不要提及，但这很混乱。这很不体面。任何公司都不应该这样做

本质上，有一个人发推了一张关于 Kimi 的发布说明截图，上面写着：“不要说这是付费推广。”据我所知，之后没有人证实过这一点。00:01:15 Florian Brand：是的，现在有几家美国公司发布的模型发布活动，非常明显是虚假炒作。

我们见过一些发布活动，只有几千次转发和几百个点赞，因为这样很有效能吸引注意力。其中一些会披露这是付费广告，其他的则不会。但总体而言，我们看到模型发布活动在专业化方面进展迅速。一年前，大家只是直接发布模型，然后事后修补 vLLM，导致在一段时间内没人能实际运行任何开源模型。

现在，第一天就能获得所有推理框架和推理服务商。或者，我们也越来越多地看到这种情况：模型创建者在发布权重之前有几周的独家访问权。K3.1 Pro 也是如此。我认为他们在发布模型权重之前有两周的独家访问权。

00:02:38 Nathan Lambert：他们说权重会在 11 月 4 日发布。头条新闻是……我不知道我能不能分享屏幕。这台电脑没设置好。但头条新闻是 Artificial Analysis 的那个数字，它领先于 GPT-6 Astra。

然后如果你看 Kimi K3.1 的博客，他们有头条数据，真的很强，后面还有一些数据看起来有点参差不齐。我想是 Terminal-Bench Science，落后于 GPT-6 Astra 20 分。

我想还有几个其他的，比如 ProgramBench。你知道 Terminal-Bench Science 和 ProgramBench 吗？这些是人们认为对前沿模型重要的基准吗？或者你怎么解释在 Artificial Analysis 上该模型排名第一，大概是第三、第四？

是两个最新的 Claude 5.5 模型、Muse Wonder Full，然后是 Kimi K3.1，看起来很疯狂。看起来完全是疯狂的分数，我觉得大家还是很惊讶。但随后是现在用来评估模型的那些细节长尾。

我在 Twitter 上发了一个帖子，问“大家的印象是什么？”很多人说“这看起来不太好”，也有人说“嗯，还行”。我不知道，情况很混杂。相对于 K3，我认为大家普遍认为它是一个大模型，但后训练似乎有点没做够。也许这只是稍微有点 RL fried（RL 润色过度/过拟合）

. 我们来看看最终结果。00:04:26 Florian Brand：关于基准测试，其中一点是，目前 Artificial Analysis 使用的基准测试，在我们发布这期播客后，他们大概很快就会发布新版本。

00:04:43 Nathan Lambert：我们没法告诉你确切日期，但我们俩都知道。00:04:48 Florian Brand：总的来说，Artificial Analysis 的基准测试在时间跨度上相对较短，而像 ProgramBench 这样的基准测试则非常长，而且具有极强的探索性。

其他基准测试是告诉模型，“好吧，这就是目标，我要你达到它”，而 ProgramBench 更像是，“好吧，这是我要的，但你需要进行大量探索”。我认为这就是我们观察到一些差异的原因：他们的 RL 训练仍然更偏向于模型训练中的“利用”一侧，而不是“探索”一侧，后者需要在真正了解自己在做什么之前，想办法找到解决方案。

00:05:41 Nathan Lambert：但如果你使用的是三万亿参数的模型，我觉得你希望它在探索方面相当稳健。因为如果你打算把模型用于相当成熟的编码任务，比如使用 DeepSeek-V4.1-Flash-1017，它在这些分数上并不落后多少，只是速度会快得多。

在每项任务的实际 token 数量上，成本可能不会差别太大。这就是为什么我认为对这次 Kimi 发布的一个批评是合理的：一个大模型必须……因为它会变慢，它必须像 Fable 那样，只是……如果做非常模糊的任务，我仍然觉得 Fable 很不错。

有时候检查幻灯片时我会回归它，我觉得它稍微能帮我做得好一点，而 Opus 真的、真的很费劲。我认为开源权重模型在这方面更有优势，因为你可以直接让它们更快、更便宜。00:06:44 Nathan Lambert：看起来 Kimi 正在通过改名来为这种 Flash 风格的发布做准备。

之前的 Kimi 模型只是 K2、K2.6、K3，现在这是 K3.1 Pro。所以 Twitter 上很多关于公司预测、投资方面的兴趣都很大程度上取决于这一点，因为情况确实如此。我们不是推理专家，但服务模型似乎意味着你必须为这个三万亿参数模型投入比 7000 亿参数模型多得多的资源。

我猜你需要 NVL72 机架才能做好。00:07:21 Florian Brand：为了容纳这个模型，你需要 B300s，一个节点