跳到正文
认知
返回深度
深度科技大约 2 小时前
单一来源当前只有一个可用来源,尚未完成多源交叉核验

同一个医学问题问了豆包、DeepSeek和Gemini,没有一家能全信

本文来自微信公众号: EarlMind ,作者:张翼轸Earl前几天看到上观新闻的一篇新闻1,不由唏嘘。一位31岁的女工程师,疑因听信GPT-4o给出的医疗建议,擅自停用了抗癫痫药物,最终离世。

她的父母已经起诉了OpenAI。用不用AI询问医疗问题,在医疗界和病人之间,显然会有迥异的态度。所以才会有了下面的梗图。以及有人复刻了中文版梗图。然而作为普通人,面对麻烦的问诊过程,终究克制不住问AI——考虑到某些初级医生都要问AI,这也未必完全无益。

但前提,是问对,避免被忽悠。我拿一个很具体的问题做了测试:老年人患了大肠癌,治疗或者康复过程中,会不会引发帕金森?这种问题如果直接去普通搜索引擎搜,大概率会搜出一堆语焉不详的健康养生号,甚至被某些断章取义的“肠脑轴”科普吓得心惊肉跳。

换作现在,不少人会选择直接问大模型。老实说,哪怕你是用豆包,或许也比直接用搜索引擎更安全。下图是不加任何约束、直接把问题丢给豆包的结果,至少这一次,它参考的几乎都是PMC、PubMed上的英文文献,绕开了满屏的养生号。

但用AI查严肃医疗问题,最让人提心吊胆的,永远是大模型的幻觉:语气无比专业、冷静、条理清晰,给出的结论却毫无根据,甚至还能随手编造几篇看似高大上的学术论文。为了把这个疑问搞清楚,我顺手做了一次实测。

同一条加了约束的提示词,同时扔给了Gemini、DeepSeek和豆包;跑完之后,再请外部模型顺着它们给出的线索去学术数据库逐篇核对,最后又换一个模型对核对结果做了二审。结果不仅很有意思,甚至有点出乎我最初的预料。

给AI戴上一道紧箍咒问专业问题,提示词里多加几句约束,效果往往天差地别。面对这种涉及疾病因果关联的问题,我的习惯是明确给它定下两道规矩:必须基于权威循证医学研究的结论;只要提到论文,必须同步给出DOI。

这里要多花两句解释下,很多人可能不知道DOI是什么。DOI的全称是Digital Object Identifier,直译过来是“数字对象唯一标识符”。你可以把它理解成学术论文在全世界的“终身身份证号”。

一篇论文发在哪个网站、排版怎么变、网址链接会不会失效,都不影响它的DOI。只要在浏览器里输入doi.org/加上这串字符,就能直接跳转到出版商的官方原始页面。要求AI给出DOI,是我用来检验它有没有胡说八道的一块试金石。

大模型如果要凭空捏造一篇论文,编一个像模像样的英文标题并不难;但要编出一串真实存在、且刚好对应这篇论文的DOI,概率极低。有了DOI,我们花几秒钟去Crossref或PubMed上一查,它是真有据可循,还是在信口开河,立马现形。

带着这个要求,三个模型的回答都交卷了。一次耐人寻味的交叉核对在核心医学结论上,三个模型的大方向其实都没跑偏:目前没有循证证据表明大肠癌会诱发帕金森病;相反,多数流行病学数据还显示两者存在某种“负相关”(患其中一种的人,患另一种的概率反而略低)。

至于这种负相关有多少是真的生物学关联,有多少来自吸烟习惯、筛查频率、竞争性死亡这些偏倚,学界还没有定论。但一旦进入到文献出处和DOI的真伪核对,三者的表现就拉开了差距。我先用基于Kimi K3后训练的SWE-2做了一审。

DeepSeek的敏锐与翻车老实说,DeepSeek的回答在方法论上是相当敏锐的。它一眼看出了这类研究的一个常见盲区:医学界绝大多数高质量队列研究,探讨的都是“先确诊帕金森的人后续患癌风险如何”,极少有大规模前瞻研究专门追踪“肠癌幸存者后续得帕金森的概率”。

它明确指出了这个证据方向上的不对称,提醒读者不要随意反推。可惜,在提供文献DOI时,它栽了个不大不小的跟头。DeepSeek列了三篇文献。其中一篇来自韩国的全国性队列研究,它给出的DOI是10.1038/s41531-023-00545-6。

我顺着这串编号去数据库一查,这篇真实存在的文章根本不是讲癌症与帕金森反向关系的,而是讲“脑深部电刺激对帕金森患者驾驶能力的影响”。耐人寻味的是,DeepSeek自己在括号里加了一句注释:“根据期刊与年份推断,原文未直接列出”。

也就是说,它记住了这篇韩国研究发在Nature旗下的npj Parkinson's Disease上,但没搜到确切后缀,于是按照该刊的编号规则自行“推断”(其实就是猜)了一个。真实的那篇论文其实是同一卷里的s41531-023-00562-5。

这种“高智商幻觉”往往比胡乱编造更隐蔽。Gemini的稳健与瑕疵Gemini在这道题上的表现展现了它一贯的数据检索功底。它一共给出了5篇文献,5个DOI经查验全部真实有效,标题逐字吻合。

从证据链条来看,Gemini的组织也很完整:从覆盖1700万人的超大样本Meta分析,到用双向孟德尔随机化(Mendelian Randomization)从基因层面做因果推断。其中那篇双向因果推断的研究,恰恰是少数直接检验了“结直肠癌遗传易感性是否会诱发帕金森”的工作,结论是没有找到因果证据。

不过“没找到”不等于“不存在”,而且它测的是遗传易感性,管不到化疗、手术这些治疗本身的影响。Gemini还列了一张很实用的鉴别清单:大肠癌患者治疗期间如果出现手抖、动作变慢,先排查奥沙利铂的神经毒性、止吐药引起的药物性帕金森综合征等等。

老年人化疗期间常用的胃复安(甲氧氯普胺)这类止吐药,确实可能诱发帕金森样症状。我的问题里恰好有“治疗或者康复过程中”几个字,三家里只有Gemini接住了。瑕疵也有。它引用的其中一篇发表在Aging期刊上,这本期刊2024年已被Clarivate剔除出SCIE,而且那篇用的是未经校正的风险比,证据权重要打点折扣。

更大的问题,要到二审才浮出水面,后面再说。一审领先的豆包最让我感到意外的是豆包。实测前我并没有对它抱过高预期,但第一轮核对下来,它的答卷看上去是三者中最漂亮的一份。豆包给出的4个DOI全部准确无误。

它引用的关键数据,比如宾夕法尼亚大学团队那项巢式病例对照研究里的比值比(OR 0.74),与PubMed上的原始摘要分毫不差。更难得的是,豆包在临床概念上做了一个很清楚的区分。一是原发性的特发性帕金森病,没有证据表明大肠癌会诱发它;

二是文献里有过个案,结肠癌发生多发脑转移后,患者出现了动作迟缓、肢体僵硬等帕金森样表现,这叫继发性帕金森综合征,是转移灶的占位效应引起的,跟帕金森病不是一回事。对于拿着家属病情来咨询的普通人,这个区分很管用。

家属遇到意外症状时,至少知道还有这样一种需要排查的可能,不至于胡乱归因。二审才看出的破绽如果故事停在这里,结论就是“豆包最好”。但医疗问题,我不太放心只过一道手。于是我把三家的回答连同第一轮核对结果,一起交给Claude Opus 5.5做二审。

这次不只核DOI,而是逐篇调出PubMed摘要,拿原文去对模型的每一句转述。二审揪出来的问题,DOI核对一个也查不到。Gemini把那篇结肠镜研究说成“前瞻性队列研究证实”不增加风险。

摘要写得清清楚楚,这是一项回顾性的医保数据分析;未校正时,做过诊断性肠镜的人帕金森风险反而高出三成(HR 1.31),校正混杂因素和死亡后才转为“不增加”,作者自己也承认这可能只是做筛查的人生活方式更健康。

“回顾性”说成“前瞻性”,“未发现增加”说成“证实不增加”,在循证医学里差着好几个台阶。豆包的问题更隐蔽。那项巢式病例对照研究测的是“先得帕金森,后患结直肠癌的风险”,豆包却拿它来证明“不存在肠癌促发帕金森的趋势”,方向整个反了过来,这恰恰是DeepSeek提醒过不要犯的错。

它引用的那篇2025年综述,摘要原文说的是“研究结果不一致”,甚至有研究认为帕金森患者结直肠癌风险更高,豆包却概括成“主流为负相关”。回头再看DeepSeek,DOI猜错了一个,但它转述的三个数字(RR 0.74、aHR 0.56、aHR 0.88)与摘要全部吻合。

至于它说的“研究方向错位”,二审在PubMed上检索了一圈,确实没找到专门追踪“结直肠癌患者后续是否发生帕金森”的队列研究。更有意思的是,第一轮核对本身也没过关。一审模型在报告里写了一句Gemini的数据“抽查无误”,实际上并没有逐条查;

负责核对的模型,自己也会说过头。三家各有破绽。豆包赢在DOI和概念区分,Gemini赢在临床实用,DeepSeek赢在方法论的清醒。没有哪一家可以单独信任。多问一句的成本这次随手做的对比,其实印证了我自己日常使用AI时的一个基本原则:面对严肃问题,绝不迷信单一模型,更不把AI当作终审法官。

真遇到人命关天或专业度极高的事情,我现在大致按这几步走。首先是给它设死规矩。问医疗、法律或专业学术问题时,提示词里务必加上“循证依据”和“索要DOI/官方条款编号”。给它一个不可模糊的锚点,能大幅压缩它信口开河的空间。

其次是多家对比。同一个问题同时发给两三个不同背景的模型。结论一致,可信度会高一些;出现分歧或者引用打架,往往就是需要深挖的地方。这次三家的大方向一致,但各自的破绽完全不重合,只问任何一家,都会照单全收它的错误。

再次是引入外部模型审校。拿到几家的回答后,交给一个能联网、能调数据库的Agent,先核DOI是否对得上篇目,再调出摘要,逐句核对转述有没有说过头、因果方向有没有搞反。DOI只能证明论文存在,证明不了模型读懂了论文。

审校的模型自己也会出错,所以最好再换一个模型复核一遍,越是敏感的问题,越值得多过一道手。大模型确实是极其强大的文献初筛工具,它能在几秒钟内把分散在各处的医学证据梳理成型。但只要涉及真正的健康与诊疗,带着它梳理出来的线索去向专业医生求证,永远是不可省略的那一步。

本文对文献的评述由基于Kimi K3后训练而来的SWE-2完成,并经Claude Opus 5.5逐篇调阅PubMed摘要进行二审;由Gemini 3.7 Flash成文,本人略有改动。

参考链接1.新闻(https://www.jfdaily.com/staticsg/res/html/web/newsDetail.html?id=1204174&v=2.4&sid=11)

Evidence

来源与证据

单一来源 · 1 个信源

当前仅有一个可用来源,尚未完成多源交叉核验。

发布时间
内容处理
AI 翻译 / 摘要,需结合原文核对
内容有误或来源失效?告诉我们
科技

阿拉斯加选票上的两个Sullivan:这到底是不是“犯罪”?

本文来自微信公众号: 一个生物狗的科普小园 ,作者:Y博的科普园11月3日就是决定美国下一届国会归属的中期选举,其中阿拉斯加的参议员席位是两党的主战场之一。但这场参议员竞选早在几个月前就因为候选人的名字引发口水战:谋求连任的共和党参议员是Dan S.Sullivan,可这次突然跑出一位也叫Dan Sullivan的退休教师——Dan J.Sullivan,也要竞选。自从出了第二个Sullivan,共和党坚决认为这是民主党派来搅局的,是希望利用同名同姓的Sullivan,来混淆选民,分流投向Dan S.Sullivan的票。共和党曾试图以Dan J.Sullivan参选动机不纯为由要求将他的名字

5单一来源
科技

不要温柔地走入那良夜

本文来自微信公众号: 橙竹洞见 ,作者:竺大炜三位同事身边有三位同事,Alice、Ben,还有Charlie。Alice很勤奋。她工作认真负责,交给Alice的事情总做得很好。就是慢点。但Alice说,慢工出细活。她知道AI有用,也尝试过让AI帮忙写报告。但她总觉得AI写出来的东西还不够好,细节不够准确。于是,她还是习惯自己动手。她知道应该学习AI。问题是,她每天的工作已经排得满满当当。收集资料、整理数据、撰写报告、修改PPT,忙得不可开交。她想等到手头工作忙完再说,可手头的工作永远也忙不完。但话说回来,这样的忙,让Alice觉得心里踏实。毕竟,自己亲手做出来的东西,总比交给AI靠谱。Ben很

5单一来源
科技

折腾了整整1年,毫无保留地分享一下我这套Agent自动化系统。

本文来自微信公众号: 数字生命卡兹克 ,作者:数字生命卡兹克上周六的时候,DeepSeek发了他们一篇很长的技术文章,叫《Super-agent设计探索:迈向更自主的Agent系统》,细细读完了,非常棒的架构,对很多开发者来说,都非常非常值得学习。其中里面最重要的一句话,我觉得就开篇的那句:“一个人通常只能同时跟进3到5个活跃的会话,在这种设计下,单任务的上限取决于模型能力,多任务的上限取决于人的注意力。”在整个Agent系统里,人的注意力是最宝贵的资产,同时也是最大的瓶颈。其实历史上出现过无数次这种情形。1380年,朱元璋借着胡惟庸案,把中书省和丞相一起废了,从此六部直接对皇帝负责,天下大事

3单一来源
科技

给漫剧卖铲子能赚钱吗?

本文来自微信公众号: 王智远 ,作者:王智远都说这轮AI漫剧,最先赚到钱的是卖铲子的。嗯,做模型、卖算力、做工具、卖课,差不多就这四拨人。我把产业链上的报价单翻了一遍,发现一件怪事:同样卖算力,H100的合约价5个月涨了近四成,A800却在两年里跌了53%;西北有些机房把中低端卡挂到一元一卡时,还是没人接。所以,冲着卖铲子稳赚这件事进场,恐怕得先想清楚,你到底打算卖哪一把。先看需求。信通院数据显示,2026年一季度,AI算力需求同比增长417%,有效供给只增长了128%,这个季度的算力租赁市场规模达到680亿元。需求涨得这么快,供给又跟不上,照理说,卖铲子的都该涨价。实际情况却挺有意思。最近几

4单一来源

每天早上收到这 5 条

免注册,填邮箱即可;每封邮件都能一键退订。

提交即表示同意按隐私说明保存你的邮箱,只用于发送简报。

或用 RSS 订阅

AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。