「史上最严」湿实验预测基准发布！推理拉满、算力翻5倍也白搭

「史上最严」湿实验预测基准发布！推理拉满、算力翻5倍也白搭

斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了

不ber，现在的基准测试都进化到酱婶了？？？

这回不刷题了，就直接给AI一组实验条件，让它自己研究、提前猜真实湿实验的结果……

比如，同一个反应换几种条件，哪种能得到更多目标产物？一批抗体变体，哪个表达量更高？

答案先藏好，等AI交卷，再拿实测结果对一对。

你还别说，这事儿现在真值得一测。

这两年，AI for Science的方式越来越深入，AI已经能自主查文献、用软件，为完成一项分析任务连续做上几小时也不在话下。

大家自然而然开始进入下一个阶段：我们到底希望AI具备怎样的科研能力？

湿实验结果预测，就是其中颇有实际价值的一项。

它需要AI理解实验目标，并从已有知识中挖掘出相关机制，才能更好地帮助研究人员筛选值得进一步探索的研究方向。

UniPat AI牵头推出的新基准Science Prediction Universe（简称SPU），便敏锐地察觉到这一点。

116个任务，4207个湿实验，覆盖化学、材料科学、生物和医学，基准顾问与湿实验合作成员也来自斯坦福、康奈尔、哈佛等高校，以及业内前沿科研机构和生物技术公司。

模型践行每次工作8小时制，配有一块H20，然后自主决定怎样利用检索与计算资源形成实验预测。

结果出乎所有人意料。

即使强如Opus 5.5、GPT-6 Astra，数据上距离真正能实现预测还都很遥远。。。

各配置在全部已评分任务上的平均得分

不得不说，SPU这是给所有科研模型都上了道硬菜。

从前那些看不见摸不着的科研能力，如今都变成了可以统一评估、持续研究的数值。

至于AI的科研判断怎样一步步养成，就有了更为具体的讨论依据。

湿实验预测：值得单独为模型考一次

回到湿实验预测上，首先这的确不是一道新题。

科学史上有过很多这样的时刻，一个判断在实验之前被给出，然后交给过程去裁决，对了就留下，错了就推翻。

具体的判断逻辑就构成了科学家的品味。

品味够好、直觉够准，科学家就能更快拿到大结果，同时节省宝贵的实验资源。

毕竟光一次湿实验，做化学的要配试剂、设定反应条件，再分离产物；做生物的也要经过漫长的蛋白表达……时间成本、工具费用本身就价格不菲，结果不理想还得反反复复做好几轮。

所以在动手之前先预测，是科研流程里含金量最高的一步。

只不过区别在于，过去这件事纯靠科学家自己，现在到了AI时代，模型也需要有这项能力，并且还需要一张能为之打分的试卷。

现有的基准还无法完全覆盖，比如BrainBench让模型直接判断实验结果，ScienceAgentBench侧重在已有数据上完成分析，Terminal-Bench 4.0和Long-Horizon-TB这类长程任务基准，则主要用预设测试检查任务产物。

SPU与之相比，均有所不同。

它更强调把AI自主研究过程与湿实验结果预测放在一起考，既涉及预测效果，也考验科学工具使用和长程任务执行的能力。

图表由AI生成

这种判断也被SPU组织成了明确的任务。

100个公开任务分别取自85篇近期发布的论文，领域专家从研究中整理候选项、材料、条件与测量方式，保留完整的定量结果作为评分依据。

另外16个私有任务，来自四组未发表的合作湿实验，涉及VHH纳米抗体、反应条件、电解液和Magrolimab变体。

共计32个子领域、4207个实验，其中公开研究提供了跨学科的任务来源，实测结果对模型隐藏，未发表实验则增加了独立于公开论文答案的检验。

这在一定程度上可以避免模型提前见过题目。

SPU的任务覆盖与来源

题目的筛选过程也很有讲究。

专家优先选择测量完整、条件清楚的研究，那些沿着单一趋势就能排序的简单问题会被直接剔除，数值过于接近的问题也会被视作参考意义不大。

最终留下来的那些题，都会更难也更有区分度。

具体预测过程中，要求模型每次运行八小时，配8核CPU、16 GiB内存和一块H20，同时允许联网检索并安装科研软件。

模型将在这段时间里自行搜集证据、选择计算方法，最后提交各比较组从低到高的预测排序。

为了防止记忆污染，评分过程也会全程在独立、断网的容器中进行，禁止AI检索原始研究结果，还会自动扫描工具输出，识别源论文DOI、标题等标识符。

最后系统将用Spearman相关系数对照预测与实测排序。

系数越接近1，排序就越贴近实验结果。

SPU的评测流程

有意思的是，SPU还关注到了很多基准测试没有考虑到的细节。

比如对于最后的得分，SPU会考虑会不会是运气使然，万一是瞎猫碰到死耗子了呢。

所以它会额外为每道题生成4000份随机排序，把第95百分位作为随机水平阈值，检查模型提交是否明显超过这一参照。不同任务也都有相应的参照依据。

整套SPU的设计，可以说是科学严谨的。

模型要在里面一步步自己判断什么值得算，并为最终预测交卷。

这一设计既有利于衡量当前AI的湿实验预测能力，也为后续研究团队借助统一指标持续改进实验指明了方向。

说归说，咱们接下来不妨一起看看首批前沿模型的成绩单。个中细节还挺值得单独拎出来讲讲。

全新测试让前沿模型集体破绷

SPU首轮系统评测覆盖12款前沿模型、13种配置。这里的配置，指的是模型、推理强度以及所使用的模型框架。

先说说整体成绩。

一句话：都不咋地。

在全部已评分任务上，平均分最高的是Claude Opus 5.5，拿了0.486分。但其中也只有一半的任务，超过了随机水平。

13个配置里，几乎都是这样，能超过随机水平阈值的任务比例仅有34％～52％。

也就是说，在场的所有模型距离真正可靠的湿实验预测，都还有一段很长的距离。

领先组和落后组的行为对比分析

不过模型之间亦有差距，平均表现可以划分为两个梯队：

领先组（6个模型）和落后组（7个模型）。

同题比较中，领先组平均还是要比其余七个高出约0.15分。

还有个细节值得注意。领先组约9％的任务得分低于0，其余七个配置的这一比例能高达22％。

这里的0指的就是随机有效排序的平均分，负分即意味着预测与实际排序呈负相关。

差距具体来自哪儿呢？研究团队又往下深挖了一步。

他们先把同题中其它模型的预测合成一份参考排序，再将实验两两配对，对照实测结果，检查每个模型单独有没有排对。

在参考排序正确的实验对上，领先组能排对86％，其余七个配置为78％；而对于参考排序错误的实验对，两组独立排对的比例都在30％左右。

所以其实领先组的一部分优势，恰恰体现在共同预测正确的地方，这部分领先组始终会更稳。

至于模型为什么会偏离正确判断，运行记录里有更具体的线索。

以溶液任务为例，同一个聚合反应，依次更换12种溶剂，任务要求按最后分离得到的聚合物质量排序。

Opus 5.5得分0.874，Qwen3.8为-0.126。12个候选溶剂条件两两配对，共66对，前者排对56对，后者排对30对。

同一道任务上Opus和Qwen的两次执行

分析发现，这是因为二者从一开始关注的因素就有所差别：

Qwen3.8主要依据溶剂能溶解多少乙烯来排序，Opus 5.5更关注原料的混溶情况以及催化剂在溶剂中的相容性。

虽然Qwen3.8在计算过程中，也同样发现了这一问题，但最终没能直接改变模型最后采用的排序依据。

所以预测出错最有可能发生的阶段，就是在选择判断依据的那一步上，模型还要学会根据线索即时调整排序方式，才能让这些发现真正影响答案。

拆开来看，这些差异也会随着具体学科与任务发生变化。

在公开任务各学科的已评分结果中，化学平均分最高的是Opus 5.5，材料科学是Fable 5.1，生物学是GPT-6 Astra Medium，医学是Opus 5。

P.S.Fable 5.1、Opus 5.5存在拒答现象。

各模型在四个学科上的得分

所以如果准备让AI参与某一类研究，不妨先找个相关任务，拿来SPU测测，确定模型真的适用后再进行正式实验。

私有任务的结果，把这一点讲得更具体。

13个配置中有12个的平均分显著高于随机排序，配置之间没有检出明显差异。相比之下，不同任务带来的变化尤为醒目。

同一批电解液，预测离子电导率时，13个配置的排序相关系数集中在0.89～0.95；换成电化学窗口，12个获评分配置的得分为-0.55～0.07，均未超过随机水平阈值。

模型没变，测量目标一换，成绩分布就明显换了。

所以下次再评价一个模型时，只说它擅长化学还不够具体，还要看它具体面对哪一种测量目标、哪些实验条件。

各模型在16个私有任务上的预测表现

再讲一个挺反直觉的事儿：

一般来说，多给模型一些时间、更高的推理强度，成绩应该会继续往上走吧？

大家普遍都是这样想的，也都是这样做的。

结果你猜咋地，SPU的结果一出，直接啪啪打脸——

在同样的8小时运算下，研究团队将GPT-6 Astra从中等推理强度调到最高，最高强度的运行时间中位数增至4.8倍，API成本中位数也增至5.3倍。

但预测得分……几乎纹丝不动。

嗯？研究团队还特地回去翻了翻模型运行记录。

结果好家伙，在完成的79个任务上，GPT-6 Astra最高推理强度通常在运行到中位26％时，就已经给出了答案。

模型后续也没闲着，继续计算修改，但都是微调，没能在结果中显现出差异。

换言之，推理强度再高，也不一定让结果更好。

GPT-6 Astra在两种推理强度下的投入与表现

这个现象倒也给模型的资源分配提了个醒，如果要追加计算，千万别盲目冲，耗时耗力还未必讨巧。

相反可以更细致地沿着运行记录检查，先充分了解新增的证据究竟对应哪项判断，再有目的性地局部提升算力。

其实在工具使用上，也有类似的现象显现。

GPT-6 Astra Max每次运行使用的方法类别中位数为4类，Medium为1类，但两种配置的得分仍未检出显著差别。

理由也差不多，都是好工具没有用在刀刃上。

比如蒙特卡洛采样，虽然大部分时间模型都在调用该工具，但只是给最后的排序加了点误差范围，没有直接影响到结果本身。

科学计算工具调用情况

所以其实，工具用得再多也不如用得准。

GPU的使用情况也提供了一个有意思的视角。

在提供了充足的GPU算力情况下，真正成功运行GPU计算的只有255次，不到五分之一。

不同模型、不同学科，跑GPU的情况也各不相同，所以单纯看调用GPU的次数，本身很难说明模型科研能力。

要判断算力有没有帮上忙，还得看它被用来算了什么、计算结果是否有助于预测，以及这些结果如何影响最终排序。

关键还是要将算力引到排序相关的物理量上，才能让模型更为精准地完成预测。

GPU使用统计

搭配成本一起看，各配置每次运行的平均API成本，从0.22美元到65.91美元不等，差距足足300倍。

这意味着SPU同时提供预测表现与调用成本，对准备部署科研模型的团队，是个不错的参考依据。

从整体得分到同题轨迹，SPU把模型差异展开到了科研判断的每一处细节里，比如算力、比如成本。

AI算出的数值，对预测到底有多大帮助；预测出了错，又该回头检查哪些判断……这些都能结合实验结果与运行记录继续分析。

下一轮改进也就有了可以明确尝试的方向：

根据SPU，模型能够更及时发现错误假设，更有依据地保留或修改排序。改完后，再放回相同任务，看看预测有没有更准。

把「检验理解」搬进模型的考场

可以说，SPU与AI4S的发展规律高度契合。

AI4S的评测正在逐步深入真实实验环节，面向实验执行的基准也在今年陆续出现。

但在执行之外，预测作为科研流程中绕不开的一步，也是最难量化的一步，终于有了可衡量的方式。

这样的好处体现在两方面：

研究者由此可以分析，哪些测量目标更容易预测，哪些任务差异最大，以及一次错误判断如何形成。既能节约昂贵且宝贵的实验资源，也能缩短决策时间。

对模型开发而言，这也提供了更为具体的改进参照。

随着实验类型增多，评测也能回答更具体的问题：面对哪些材料、实验条件和测量方式，AI给出的排序更可靠、更值得参考。

科学家由此可以围绕同一类问题持续积累进展。

事实上，SPU还只是UniPat AI系列真实工作评测中的冰山一角：

· ScienceVision：关注模型如何从三维科学对象中获取证据并回答问题；

· PaperBenchX：把已发表研究转为可执行、可验证的论文复现任务；

· SaaS-Bench及EvoCode-Bench：分别考察实际软件流程与需求持续变化时的开发工作。

这些工作覆盖科研、办公与软件开发，共同关心AI进入具体工作后怎样完成任务，以及结果如何得到验证。

这也侧面体现了，UniPat AI对AI走向科研实践、甚至走向真实世界，拥有独到的行业认知和前瞻性判断。

UniPat AI也展示出一种新型的AI合作模式：

领域专家参与任务筛选与审核，合作实验室提供未发表任务，项目团队将不同学科的实验组织成统一评测任务。

以SPU为例，由UniPat AI牵头，顾问成员所属机构包括斯坦福、康奈尔、哈佛、UIC、北大、港科大和FutureHouse。来自优睿赛思、爱博泰克、深度原理与恩和生物的湿实验合作成员，参与了相关实验工作。

跨学科知识与实验资源由此进入同一套评测过程。SPU既承载了对问题的选择，也呈现出将科研问题组织成可执行任务所需的协作。

目前SPU相关的100个公开任务计划以完整的Harbor任务包形式发布；16个私有任务继续保持私有，用于受控评测。数据集和代码都已经开源。

诚然，今天的AI，在这套SPU机制面前还只是新手。

它能把工具用得飞快，能在8小时里装三套软件、跑完DFT再做蒙特卡洛，但在最关键的判断上，它还没学会问自己一句，我算的这个量，是不是实验真正需要测的那个量。

但随着这类任务持续积累，AI能够承担怎样的科研工作，也将变得清晰。

SPU把这段距离量了出来，接下来每一次考试，都是AI向真实实验台走近的记录。

项目主页：https://spu.unipat.ai论文链接：

版权所有，未经授权不得以任何形式转载及使用，违者必究。

基准测试 湿实验 预测

· 英伟达上演“奥特曼2.0”，员工集体请愿：让老黄回家！2026-11-14

· 中国AI突破复杂肺癌诊疗！中美医疗圈集体坐不住了2026-11-13

· MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍2026-11-03

· 央视严选「中国AI创业十骏」：唯一AI制药公司是清华系2026-11-02

VC开始靠AI预测未来了

FutureX榜单前十占了仨

新测试基准发布，最强开源Llama 3分数骤降，差距拉开了

大模型竞技场人类真实数据

17款大模型PK八款棋牌游戏，o3-mini胜出，DeepSeek R1输在中间步骤

无法记答案的动态基准测试

大模型权威测试被曝翻车！偏袒GPT-4等闭源模型，提示词区别对待

简单改下提示词，LIama3涨10分

7个AI玩狼人杀，GPT-5获断崖式MVP，Kimi手段激进

GPT5的进步比想象中更大

红杉中国推出全新AI基准测试xbench，要在AI下半场定义“好问题”

第一个由投资机构打造的AI基准测试