交互智能背后，一批年轻研究者正在走到台前

本文来自微信公众号： Z Finance ，作者：ZF编辑部，原文标题：《深度｜交互智能背后，一批年轻研究者正在走到台前》引子过去几年，大模型变得越来越聪明，却始终存在一个不太容易被注意到的局限：如何在世界持续变化、交互持续发生的过程中保持智能。

用户提出问题，模型开始推理，生成答案，再等待下一次输入。外部世界被切分成一个个完整的片段，智能只发生在片段之间。但现实世界从来不会等待。人与人交谈时，我们不必等对方讲完才开始理解，也不必想好所有内容才开口；

我们在倾听中形成判断，在表达中继续思考，还会因为对方一个停顿或表情，随时改变原本要说的话。这种能力看似理所当然，今天的大模型却很难复现。一批前沿研究正在试图改变这一点。2026年，字节跳动Seed先后把原生全双工语音模型Seeduplex和音视频全双工模型SeedRealtime推上豆包App；

OpenBMB开源了可在端侧运行的全模态实时交互模型MiniCPM-o 4.5；Thinking Machines Lab发布Interaction Models研究预览；OpenAI推出GPT-Live并开放API。

阿里通义、小米、阶跃星辰等团队，也沿着不同路线推进实时语音、持续推理与全模态建模。这些工作指向同一个问题：当输入不再完整、环境持续变化，模型能否始终保持感知、推理与行动的连续性？投资人也开始关注这一方向。

科技投资人、a16z Scout Rubén曾在LinkedIn上讨论清华研究者胥博凯参与的MiniCPM-o 4.5，他关注的不只是模型本身，还有推动这些突破的年轻研究者，以及他们从实验室走向创业的可能性。

Rubén的LinkedIn帖子截图如果向前追溯技术路线，会发现推动这场变化的人，并不来自同一种技术背景。有人从同声传译出发，研究模型何时开口；有人让模型边听边说；有人让内部推理与外部表达同时进行；

还有人负责让这一切在真实系统中稳定运行。这些原本独立的方向，正在汇合成一张新的技术与人才图谱。下一代实时交互：关键技术问题与人才图谱想要理解这些工作如何汇合，先要回到一个基础问题：今天的人机对话与真实人际交流之间的区别是什么？

从轮流对话到持续交互：技术演进的脉络在人际交流中，一句“我没事”，可能是真正的平静，也可能是勉强的掩饰。我们会从语气、停顿和表情中判断言外之意；对方尚未说完，我们已在组织回应；他突然改口，我们又能立即调整。

人类不会把交流切成一次次独立问答，而是在信息持续变化中，实时判断什么重要、何时回应、下一步做什么。而大模型所擅长的恰恰相反：它接收一段完整输入，再生成一段完整输出。人机交互因此长期遵循轮流、中断的节奏，你说完它计算，它说完你接话。

这在简单问答里尚可接受，一旦进入需要持续协作的场景，就成为瓶颈。实时交互研究要解决的，正是模型能否从离散的问答机器，变成持续感知、思考和回应的智能体。全双工：不是更快的语音助手全双工（Full-Duplex）原是通信术语：对讲机是半双工，同一时刻只能一方说话；

电话则是全双工，双方可以同时说、同时听。放到AI交互里，原生全双工要求模型在输出的同时仍持续接收和理解新输入，并据此决定继续、暂停还是调整回应。2024年5月，GPT-4o推动端到端语音模型走向大众，模型可以直接处理音频，理解语调与情绪，并生成有自然起伏的语音。

GPT-4o官方发布页：实时多模态语音开始进入大众产品语境。资料来源：OpenAI，Hello GPT-4o但端到端并不等于全双工。前者讨论输入和输出能否由同一个模型统一建模，后者讨论它们能否在时间上持续并行。

早期的级联系统由语音识别、语言模型、语音合成依次工作，延迟高，还会丢失语调与情绪；端到端模型减少了中间转写，却仍没有摆脱轮次式交互，通常要等用户说完再回应。“低延迟”也常掩盖这一区别。

系统可以用语音活动检测（VAD）识别用户开口，收到打断信号就停止播报，做到百毫秒级响应；但如果模型发声时关闭了听觉通道，每次中断后只能重开一轮推理，它仍是一台响应更快的轮次式机器。

VAD只判断有没有声音，不理解内容：用户停顿想词，它可能判定说完了；旁人咳嗽，它可能判定用户开口了。设想AI正在介绍一家餐厅，用户突然说“等一下，我其实不吃辣”。依赖VAD的系统只会停下播放，等待新一轮输入；

原生全双工模型则要在说话的同时理解这句话，并调整接下来的表达。而用户随口一句“嗯嗯”，通常意味着“请继续”，而不是要求停下。因此全双工的难点除了支持打断，还在于区分噪声、附和、迟疑、抢话和真实意图。

严格来说，原生语音全双工要求模型在生成输出时仍持续处理新音频输入，并根据语义与时机决定继续、暂停或调整回应，其本质上就是对连续时间的控制权——模型在每一个时刻都要决定自己该听、该说、该停，还是该换个说法。

2026年，原生全双工开始集中进入产品。4月，字节跳动Seed团队的原生全双工语音模型Seeduplex在豆包全量上线。官方评测显示，与半双工模型相比，复杂场景下误回复和误打断减少约一半，抢话比例下降约40%。

7月，OpenAI用全双工架构的GPT-Live替换了ChatGPT原有的语音模式，模型每秒可多次决定继续听、开口、暂停、打断或调用工具。对话的基本单位，正从一问一答的“轮次”扩展为持续的时间流。

Seed官方将Seeduplex定义为可“边说边听”的全双工语音模型。今天的实时交互不是由某个实验室一次性发明的。它来自同声传译、听说并行、全模态建模、持续推理、交互后训练与推理基础设施等不同路线，近两年才在同一批模型和产品中相遇。

流式处理：从同声传译学会“何时开口”同声传译天然要求译者不等演讲结束就开口，因此必须在信息不完整时持续判断和输出。机器同传研究把这一矛盾形式化为读写策略（Read/Write Policy）：输入尚未结束时，是继续等待，还是已有足够信息开始生成？

这是在延迟与质量之间的取舍，中科院计算所自然语言处理团队（ICTNLP）在这一方向上有长期积累。ICTNLP提出的StreamSpeech把语音识别、翻译与合成整合进同步语音翻译框架，后续的Stream-Omni又把流式处理扩展到更多模态。

类似的工作还有LLaMA-Omni系列，它实现了低延迟的语音生成。但这些工作属于流式与端到端层面的前序探索，还不是全双工。这条路线的价值在于提供了一种思路——把“何时听、何时说”变成可学习的决策问题。

它的局限也很清楚。同传的输出目标相对确定，原文说什么就译什么；开放对话的目标却随时在变，还要处理插话与意图转向。从同传到对话，难度上了一个台阶。听说并行：把对话控制交还给模型由上海交通大学X-LANCE实验室与字节跳动研究者合作提出、发表于AAAI 2025的LSLM（Listen-while-Speaking Language Model）较早把“边说边听”作为独立问题提出：模型在生成语音时持续接收外界声音，若只是噪音、闲聊或附和就继续说，若判定用户真正插话就停下倾听。

2026年6月，中科院计算所冯洋团队发布BayLing-Duplex，进一步把用户语音、助手文本和助手语音组织成一条多通道交错序列，开口、被打断、重新开始都统一为下一个token的预测，不再依赖外部VAD。

论文显示，它从一个公开的轮次式模型出发，只用约40万条全双工样本微调，就在轮次切换与打断测试上取得了较高成功率。对话控制正在从外部工程规则，变成模型自己学习的能力。端到端全模态：在同一条时间轴上看、听、说真实交流不只有语音，还有画面、环境声与手势。

模型不能只在某个时间点拼接模态，而要理解它们何时发生、如何相互影响。开源项目Mini-Omni系列较早提供了端到端实时语音与多模态的开源探索。2026年2月初，由清华大学自然语言处理实验室与面壁智能共同发起的开源社区OpenBMB开源了MiniCPM-o 4.5，其Omni-Flow框架把轮次式交互改写为时间对齐的全双工过程，感知与回应并行展开，还能根据持续观察的画面主动提醒。

按技术报告，这个约9B参数的模型可在内存不足12GB的端侧设备上运行。三个月后，Thinking Machines Lab公布Interaction Models，把音视频与文本切成约200毫秒的片段并行处理，并配合异步后台模型负责推理与工具调用。

这说明国内研究团队并非只能跟随海外概念，相关模型和系统已经率先公开落地。8月，字节Seed团队的音视频全双工模型SeedRealtime就在豆包上实现了“边看、边听、边说”。Thinking Machines Lab：Interaction Models将“实时交互”提升为研究方向需要区分的是，全模态与全双工是两个维度。

例如阿里通义的Qwen-Omni系列把音频、视觉与文本纳入统一的感知底座，回答的是“模型能理解多少种信息”；而全双工回答的是“这些信息能否在时间上持续并行”，两种能力可以叠加，但不能互相替代。

持续推理：边听边想，边说边想能同时听说，不等于能边说边想。用户通常是既要又要——既希望模型迅速开口，又不希望它为速度牺牲推理深度。这条路线上的工作各自处理不同环节。南洋理工大学与阶跃星辰联合完成的Chronological Thinking关注“听”的阶段。

多数全双工模型在用户说话时只是重复预测静音，处于空转；它让模型随话语推进按时间顺序整理意图与逻辑，用户一停就能开口。南洋理工大学团队（作者包括图灵奖得主Yoshua Bengio）的The Silent Thought（FLAIR）进一步让模型在倾听时以隐式表征推理，无需显式思维链标注。

同样出自NTU与阶跃合作的Mind-Paced Speaking关注“说”的阶段，让负责推理的“构思脑”与负责发声的“表达脑”并行，表达不必等推理完成；阶跃的Step-Audio R1.1（Realtime）已明确采用这一“双脑”架构，在输出语音的同时进行链式推理。

Mini-Omni-Reasoner在token级别交错生成推理与语音；MiniCPM-o团队的Listen-Write-Speak则把倾听、可见文字输出与语音组织为三条并行通道，让模型边说边把代码、要点写出来。

工业系统给出了更务实的解法：把实时对话与深度工作拆开。GPT-Live在前台维持对话，把需要搜索和推理的任务委派给后台模型，结果返回后再接回对话；Thinking Machines Lab也采用前台交互、后台异步、共享上下文的结构。

学术界的双脑、多通道方案与工业界的快慢分工，正从两个方向逼近同一个目标。交互后训练与评测：教模型掌握分寸有了全双工架构，模型也不会天然懂得分寸。交互后训练专门校准实时行为，例如何时切入、何时倾听、如何过滤噪音、半路被修正如何收尾以及被打断后如何接续。

其中的难点在于目标高度依赖语境，过早开口显得冒失，过晚开口失去实时感，频繁插话破坏沟通，从不插话又显得呆板。模型要学的是一套随场景变化的交互策略。评测同样困难——对话至少有两方，单独给一个模型打分很难反映真实互动。

2026年以来，全双工评测基准与基于强化学习的交互对齐研究陆续出现，这一环节正成为新的研究热点。工业侧，阶跃的Step-Audio-R1系列把强化学习与推理引入语音，StepAudio 2.5强化交互表现，DuplexSLA探索语音、语言与动作的同步调度。

从语音推理到交互表现，再到语音与动作的同步，这条线把后训练从“说得对”推进到“在对的时机说、边说边做”。开源侧，MiniCPM-o的交互对齐、双工评测与Listen-Write-Speak的多通道调度构成另一套闭环。

这一环节的意义还超出语音本身。同传判断何时开口，智能体判断何时调用工具、何时继续执行，两者的底层逻辑是相通的，都是在不完整信息下决定下一步动作。实时交互积累的时序决策方法，正在向Agent领域迁移。

目前这一环节的短板之一是评测尚未形成统一标准，各家报告的指标口径不一，横向比较仍然困难。并行生长的技术：组织、团队与人才实时交互的几条技术路线，背后是一张不大的人才网络。很多关键工作出自少数研究者之手，他们在高校、开源社区和大厂之间流动，把一个实验室的积累带进另一个团队的产品。

原生语音全双工的人才，主要来自两个长期深耕口语与流式决策的学术组织。上海交通大学X-LANCE实验室由俞凯教授建组，他2012年从剑桥大学回国组建团队，此后十余年持续深耕口语对话系统与语音智能，emotion2vec、SLAM-LLM都出自这一积累。

X-LANCE为全双工打下了感知底座，也培养了一批既懂声音又懂对话的研究者。中科院计算所ICTNLP的冯洋团队则从同声传译切入，把“听到什么程度才开口”变成可学习的读写策略。2026年发布的BayLing-Duplex也出自这个团队。

张绍磊是较早关注实时模型的研究者之一。他从同声传译方法起步，把这条方法线推进到流式语音和多模态：StreamSpeech（ACL 2024）、高效多模态的代表工作LLaVA-Mini（ICLR 2025），再到Stream-Omni。

之后他又把流式决策方法迁移到DeepAnalyze等Agent工作中。他的轨迹说明，一种方法论可以在同传、语音、多模态与智能体之间持续迁移，价值不局限于某个具体任务。房庆凯参与了LLaMA-Omni系列，之后加入小米参与MiMo-Audio，是计算所流式技术进入工业模型的典型案例。

马子阳是上海交大与南洋理工大学联合培养的博士生，在字节Seed实习期间完成LSLM，之后转向阿里通义的Qwen Omni。从emotion2vec到LSLM，再到音频推理Audio-CoT和细粒度音视频描述Omni-Captioner，他的工作恰好对应交互模型的演进逻辑——先听懂声音里的细粒度状态，再实现边听边说，最后把视觉和听觉放进同一个模型。

这种能同时贯通原生双工与全模态两条主线的年轻研究者并不多见。字节Seed则把原生全双工率先推到亿级用户规模。值得一提的是，Seeduplex与SeedRealtime最初来自两支轻量团队在不同工程直觉下的各自攻坚，而非自上而下的统一规划。

这说明即便在大厂内部，关键突破也往往来自小团队在具体问题上的持续投入。表1｜原生语音全双工全模态阶段需要把文本、视觉、语音统一到同一个表征空间，这是以语言模型为核心的团队所擅长的。

清华大学自然语言处理实验室（THUNLP）在大模型基础、预训练与评测上积累深厚，经由OpenBMB开源社区与面壁智能延伸到全模态交互。胥博凯是这条线上的代表人物。他参与了MiniCPM-o系列、Omni-Flow、Listen-Write-Speak与双工评测，把全模态交互组织成可训练、可评测、可交付的工程闭环。

从论文到可端侧部署的开源模型，要跨越权重工程、数据配方、量化推理与社区反馈一整条链路；开发者在真实设备上暴露的抢话误判、底噪误触、长对话失稳等问题，又反过来推动研究迭代。这类兼顾研究与交付的人才，在开源模型团队中尤为稀缺。

谢之非是一个典型的跨机构样本。他在清华大学就读期间与合作者开源了Mini-Omni系列，验证了让大模型直接流式发声的可行性；之后在南洋理工大学等机构继续研究，参与了推理与语音交错生成的Mini-Omni-Reasoner。

这条轨迹体现了开源时代的技术扩散方式：关键进展不再只由单个实验室产出，而是通过个人开源项目、联合培养与跨机构合作快速扩散和迭代。阿里通义的徐进推动了Qwen多代Omni模型与Omni-Captioner，把全模态感知与生成做成工业体系。

他所在团队的方向侧重统一感知底座，与持续边听边说的实时架构形成互补。表2｜全模态统一建模持续推理与交互后训练这两条线，学术探索与工业落地结合得格外紧密。南洋理工大学语音实验室长期研究流式语音建模，并与多所国内高校保持联合培养关系，在人才网络中扮演中继站的角色。

NTU博士生吴东航参与的Chronological Thinking、Mind-Paced Speaking与The Silent Thought（FLAIR）构成一组连贯研究，分别回答倾听时如何思考、表达时如何推理、思考能否以隐式表征进行；

FLAIR发表于ICML 2026，Chronological Thinking发表于SIGDIAL 2026。这组研究指向全双工最核心的矛盾之一：模型为了响应速度先开了口，后台的推理还在继续，如何保证后面说的话不和前面自相矛盾。

阶跃星辰的田飞是这组研究的合作者，也是阶跃语音路线的重要推动者。从Step-Audio-R1系列把强化学习引入语音，到StepAudio 2.5强化交互表现，再到DuplexSLA探索语音、语言与动作的同步，加上Step-Audio R1.1采用Mind-Paced Speaking架构，这条线体现了学术界提供推理范式、工业界提供算力与真实场景的合作方式。

同一方向上，胥博凯团队的Listen-Write-Speak从架构侧处理同一矛盾，谢之非与马子阳等人参与的Mini-Omni-Reasoner研究推理与语音的交错生成。这一方向决定了实时交互的上限——只有内部推理持续运转，模型才可能从反应敏捷的播报工具，变成支撑复杂任务的协作者。

表3｜持续推理表4｜交互后训练从组织层面看，几类机构的角色已经比较清楚。X-LANCE与ICTNLP这样的长期学术团队提供底层问题意识，并持续输出人才；NTU这样的联合培养枢纽把学术范式转化为可合作的研究；

OpenBMB这样的开源社区让成果在真实设备上快速接受检验；大厂负责把能力推到大规模用户面前。学术到工程的路径也已清晰：计算所的流式语音进入小米MiMo-Audio，NTU与阶跃的Mind-Paced Speaking进入Step-Audio R1.1，清华相关研究经由OpenBMB与面壁成为端侧开源模型，字节Seed则把全双工推上亿级用户产品。

全双工的发展并非单点突破的结果，而是学术研究、开源探索与工业工程在不同阶段互相借力、持续迭代的产物。放到全球看，Thinking Machines Lab、OpenAI与Nuance Labs以基础模型为核心，自顶向下推进；

上述高校与产业团队则更多依托开源、联合培养和快速产品化。两种路径在2026年几乎同时把实时交互推到台前，其中不少关键贡献者是活跃在不同机构之间的年轻华人研究者。真正重要的突破，未必只发生在参数规模最大的团队里；

长期研究声音、时间、动态决策与推理的人，正从不同起点走向同一个前沿。资本开始下注，真正的挑战才刚开始这场技术变革，已经开始吸引全球顶尖研究者与资本的共同关注。10月23日，海外知名AI科技观察者Kim Isenberg（X：@kimmonismus）发布了一组关于下一代实时交互的长推文。

他在X上拥有超过15万关注者，关注者中包括Thinking Machines Lab创始人Mira Murati、联合创始人John Schulman，以及微软CEO Satya Nadella、NVIDIA研究科学家Jim Fan等科技行业重要人物。

值得注意的是，在这组讨论中，Kim将Thinking Machines Lab的Interaction Models、OpenAI的GPT-Live、美国初创公司Nuance Labs，以及一些中国团队的工作放在了同一条技术演进脉络中。

这不仅是一次对技术进展的梳理，也折射出海外对中国原生全双工研究与创业生态的关注。资本也已经开始下注