单一来源
当前只有一个可用来源,尚未完成多源交叉核验a16z对谈OpenAI产品负责人
本文来自微信公众号:Z Potentials,作者:a16z,原文标题:《深度|a16z对谈OpenAI产品负责人:Astra之后,Computer Use真正的杀招,藏在被忽略的那2%里》,题图来自:视觉中国OpenAI正在赌一件听起来近乎失控的事:让AI像人一样使用电脑,然后比人更快。
在a16z播客的一场深度对谈中,OpenAI Computer Use产品负责人Ari Weinstein与James Sun首次系统拆解了这条产品线的现状与野心。两人的判断毫不含糊——自Astra出现之后,Computer Use Agent已能完成一个人用电脑能做的任何事情;
速度上已超过普通人,正逼近"超人类"水平,也就是比一位电脑使用专家更快。访谈里真正值得细看的,是那些"难以察觉"的增量:Astra在99%与97%可靠性之间那点微小却关键的差别,它在抵抗prompt injection上的对齐提升,以及dots如何主动发现你漏掉的外部会议邀请、登录Sentry提取日志再给出分析。
企业端的落地同样朴素得近乎无聊——ERP、采购、财务对账、市场调研,全是没人愿意亲手做的苦差事,却正是机会所在。历史软件不会一夜消失,新软件也在同时生长。他们给创业者的提醒反而克制:护城河仍在速度、执行节奏与行业纵深。
Ari Weinstein与James Sun都在OpenAI负责Computer Use产品,前者偏消费端,后者偏企业端,两人此前都创办过公司。Seema Amble与Fabrizio Serafini是a16z投资人,此前合写过一篇Computer Use Agent的文章。
本期访谈于2026年10月发布。Z Highlights我们对Computer Use的理解,并不是说你拿起一个单独的工具,然后说“我想用它做点什么”。它更像是模型为了完成任何任务所需的通用API。
任务越复杂,它在推进过程中某个阶段接触到Computer Use的可能性就越高。采购是我们看到的一个重要方向。财务也是另一个很有意思的类别。很多美国的财务软件没有能快速提取数据的API。
因此,财务团队可以让Computer Use查看这些账簿,进行对账,把值得关注的内容标记出来,交给某个人处理,或者继续展开调查。如果你看看如今正在生产环境中运行的软件,很多都是10年、20年、30年、40年前写的,我不认为它们会在一夜之间消失。
我觉得我们将进入一个时代,任何软件都可以为一百个人,甚至一个人设计。今天仍然存在的护城河之一,就在于速度与执行节奏。在我看来,仍然有很多垂直行业对AI的扩散要慢得多。如果存在需要大量彼此割裂的软件的复杂工作流,Computer Use就是把它们连接起来、完成整个端到端工作流的好方法。
现在用Computer Use,你还得花心思考虑怎么用它、记得去用它;我非常期待一个世界:Agent能够适应你,而不是让你去适应它。01 Astra的增量在“难以察觉”的细节里Seema Amble: 欢迎收听a16z播客。
我是Seema Amble。和我一起主持的是我的同事Fabrizio Serafini。8月我们写过一篇文章,讨论Computer Use Agent,以及它们如何开始在公司内部承担真正的工作。
今天请到的是来自OpenAI的Ari Weinstein和James Sun,他们会从自己的视角帮我们拆解Computer Use Agent正在发生什么,也分享一些对未来的想法。
Ari、James,谢谢你们来。Ari Weinstein: 首先,很高兴来到这里。James Sun: 是的,谢谢你们邀请我来。Seema Amble:Ari,你先来,跟我们讲讲Astra的哪些特点推动了Computer Use Agent的发展,以及它真正解锁了什么。
Ari Weinstein: 是的。Astra是一个很惊艳的模型,很多事情都做得很好。在Astra之前,我们的Computer Use模型其实已经非常出色了。Sol本身的Computer Use能力就很惊艳。
所以就我个人的零散经验而言,Astra真正带来的帮助主要体现在一些细节上。第一,它平均来说快了一点,因为完成同一个任务所需的思考Token更少。它在某些类型的创造性工作上更出色。比如,我们在发布视频里做过一个演示:你可以和它对话,而它会在Microsoft Paint上画东西。
它在这类事情上好得多,我觉得这大概也能迁移到其他类型的创造性任务上。最后一点是,我发现它在一些细节上就是更可靠。我觉得自己对它更信任了一点。这有点像这样:在可靠性达到99%和达到97%的两种情况之间,存在一个很小、很难察觉但确实非常重要的差别,而我觉得它只是以一种相当具体的方式,可靠性略微更高了一点。
James Sun: 是的,我想在这些优点的基础上再补充一点。Astra也是我们目前对齐程度最高的模型。所以,回到信任这个话题。如果你看看它的系统卡,就会发现它在抵抗prompt injection方面好得多,在避免采取任何非预期行动方面也好得多。
所以,如果你把它放到企业工作中来考虑,尤其是那些用它处理敏感事务的公司,无论是采购、与供应商沟通,还是与客户沟通,你都会用得安心很多,这真的让人非常兴奋。创造性方面也有一些有趣的表现。
我们内部让Astra跟5.6打游戏,它每次都赢。网上还有一些很酷的推文,说Astra大概30小时左右就能打通Fallout之类的。所以,它在玩电子游戏方面也确实非常厉害。我也不知道,这大概能迁移到某些能力上吧。
Seema Amble:是的,这很令人兴奋。也许可以深入谈谈这一点。Computer Use Agent在消费端和企业端的应用场景很不一样,我想,围绕Computer Use Agent的那整套外层支撑,含义也截然不同。
如果一定要选,你们觉得消费端和企业端哪一边更令人兴奋?James Sun: 我觉得OpenAI的目标,是打造对每个人都有用的产品。有意思的是,Ari肯定更偏消费端,而我在企业端花的时间更多一点。
我觉得消费端一直是我们探索可能性边界的地方。Ari刚提到,Astra比之前的模型快得多,所以我们会花很多心思考虑,更快、更好的模型能带来哪些新的消费端体验。至于企业端,安全自然成为了一个很值得关注的问题。
我觉得每次和大公司交谈时,Computer Use的应用场景其实都相当明显。企业内部有很多没有任何MCP工具的旧软件,有的软件已经用了15年、20年,而且很多时候对普通人来说很难用。
许多界面还是过去十年的样子,有些关键操作甚至都不知道怎么做。所以我们看到一些公司会构建技能,教模型更好地使用这些软件。或许可以这么理解:在企业端,这些能力可能已经存在了一段更长的时间,而企业正在迎头赶上,尝试理解该如何应对;
在消费端,我们则在探索下一批可能是现有软件还无法实现的应用场景。也许你可以多分享一些。Ari Weinstein: 是的,消费端的应用场景让我觉得特别有趣,因为它关乎如何让你的Agent帮你处理日常生活中那些烦人的事情,为你节省大量时间,让你有更多时间专注于自己感兴趣的事。
看到dots的表现真的很有趣,每个dots都有自己的电脑,你可以让它在云端替你做事。它有一个完整的网页浏览器,可以帮你买东西、预约理发,以及做你想让它做的其他任何事情。所以这真的很有趣,我觉得未来还有很多值得期待的东西,一定会很有意思。
02 团队自己怎么用dots:从漏掉的会议邀请到Sentry日志Fabrizio Serafini:这正是我想问的关于dots的问题。James,我想你大概会用dots来梳理产品反馈。
如果你能多分享一点就太好了。我也很好奇,你们自己是怎么用dots的?Computer Use又如何影响它们能做的事情?James Sun:我觉得dots特别酷,有几个原因。首先,它非常主动,所以无论在生活还是工作中,当dots提醒我一些完全被我遗漏的事情时,我常常感到很惊讶。
就在前几天,我们内部的邮件系统收到外部会议邀请时,邀请实际上不会出现在日历里,所以我漏掉了不少外部会议。现在dots会帮我发现这些事情。它会说:“你的收件箱里有一封邀请,但日历上没有。
让我在你的Gmail里接受它,让它显示出来?”这简直帮了大忙。虽然只是件小事,但影响很大。我还让它主动查看一些事情。我觉得它特别擅长主动寻找那些每次形式都不那么明确的任务。举个我也设置过的例子:我们内部用Slack,任何时候都有大量消息。
以前我用Codex的自动化功能设置了一个Slack任务,每隔一小时或30分钟拉取信息。结果我对很多通知都视而不见了,因为它们有时候有用,有时候没用。有了dots,我可以给它一个高层目标,比如:“如果我汇报链上的任何人说了什么,提醒我。
如果有人对某些产品提出关键反馈,你自己判断一下,也帮我处理。”因为它有一台云电脑,我还建立了一个挺酷的工作流:有人报告情况时,通常会附上Sentry日志。我可以让它使用云电脑,实际操作我本地的浏览器。
dots会同时控制你的本地电脑和云电脑,登录Sentry、提取并分析日志,再给我反馈。这样就省掉了整个流程,不用我先判断哪条反馈重要,查看之后再去Sentry下载日志,把日志交给Codex并询问它的看法。
现在这一切都可以自动化。所以,至少对于这些主动型、长时间运行且每次形式都不同的任务来说,它很棒。03 速度才是产品问题:从“比普通人快”到“比专家快”Seema Amble:我们刚才谈了一些可靠性、速度、Token用量和效率的问题。
随着你们不断改进推出的产品,你们是如何平衡这些因素的?Ari Weinstein:我觉得OpenAI对Computer Use非常看好。我们在这个领域投入了很多,我认为我们已经做出了速度最快、价格最低、可靠性最高的Computer Use产品。
我觉得我们其实还可以把它推进得更远。我们花了很多时间研究速度。速度很有意思,一方面,Computer Use的强大之处在于它可以在后台执行任务,所以有时候花多长时间并不重要,因为它帮你完成任务时,你可以去做其他事情。
但有时候你想看着它,确保它做得正确;有时候你必须等它,因为它得先完成这件事,才能进行下一件。所以速度非常重要,你不会希望自己产生这种感觉:“哦,我本来可以自己做,那样简单多了。”如今,我们已经让Computer Use在使用电脑时比普通人更快,我觉得我们也非常接近让它达到超人类水平,也就是比一位电脑使用专家更快,比如可能比我们在座的某个人更快。
我觉得,一旦做到这一点,就真的会带来巨大变化。它会改变我们所有人与电脑交互的方式,因为突然之间,任何你能手动完成的事情,它都能做得更快。所以,除非你因为某些原因特别想自己做,我觉得其实可能有很多原因让人们想自己动手,否则在默认情况下,你可能就会想让Agent帮你做。
我觉得这会让我们打造出各种很酷的用户体验。所以速度是我们花很多心思考虑的事情。除此之外,我们当然也有一项策略:提供多种不同质量和价位的模型。因此,针对不同的应用场景,你可能会想用不同的模型。
同时,我们较便宜的模型在Computer Use方面也随着时间推移变得好得多。因此我认为,随着时间推移,人们针对不同任务想要使用的模型,实际上会变得更加多样。James Sun: 是的,你说的就是这样。
我想另一个问题是,我们如何让客户能够在安全性、可靠性、自主程度和速度之间进行控制?模型慢的时候,你可以看着它做事。但这样一来,它能做的任务就受到限制,因为你不可能一直坐在这里看着它做。
实际上这样效率更低,因为它比你慢。但一旦它快到你无法观察和审查它所做的每一件事,我们要如何让企业和商家尤其能够控制人工介入的程度,以及可审计性?我想几个月前,我参与了Astra,就在几个月前。
Astra的一部分,我们推出了一系列企业控制功能,让企业选择,比如人工介入多少。它们希望Agent自动批准所有操作吗?我们有一个非常棒的系统叫Guardian,我想应用里的自动批准功能就是它。
它是一个非常聪明的模型,会检查Computer Use Agent采取的每一个操作,判断是否安全、是否符合书面意图。消费者可能会说,我只想让它做所有事情,不想被要求审批。而企业则可以决定哪些类型的操作真正通过。
所以我觉得,随着我们的Computer Use Agent在做事方面也变得超越人类,控制部分会越来越重要。04 开放网络上的张力:广告模式与WebMCPSeema Amble: 完全同意。
我觉得,在你们尝试推出更多企业应用场景时,雇主对效率提升感到兴奋,但他们也会担心自己放出来的究竟是什么。从另一面来看,你们有没有观察到应用软件提供方的反应?现在有Computer Use Agent在访问我的旧版工作流软件,你们会考虑这个问题吗?
还是说,你们更专注于消费者或企业用户正在使用的Agent?James Sun: 嗯,是的。我觉得这个问题在开放网络上尤其有意思。如果是在公司批准并使用的软件内部,其实就比较直接,因为大家会觉得,当然,我们完全希望人们能在这里实现自动化、完成工作,不必自己费力地重复操作。
但到了互联网上,我觉得大致有几类不同的人。一类人会说,我们的商业模式与让Agent使用我们的产品不一致。想想广告商、出版商,他们的商业模式完全依赖广告。如果Agent替用户使用网站,那收入从哪里来?
我觉得在大多数地方,Agent带来的广告展示实际上并不能计入真实收入。这是一个很有意思的问题,我们一直在探索,也一直和合作伙伴团队一起研究。另一个问题是,对于那些非常欢迎Computer Use Agent使用自己网站的公司,其中很多正在采用一些标准,让人和Agent能够一起使用网站。
WebMCP就是一个让我们非常兴奋的标准。我们在应用内浏览器中加入了对它的支持。你可以想象这样的场景:Agent提升了使用网站的体验,但并没有完全取代这种体验。比如,我个人觉得浏览互联网依然很有趣。
我还是喜欢购物,也喜欢看看各种酒店、航班和地点。所以你可以想象,Agent把所有繁琐工作做完,同时保留一个让你自己浏览的用户体验。然后你会说:“好了,现在我想完成交易、输入信用卡信息,处理所有这些事情。
”接着你可以把工作交还给Agent。所以WebMCP是一种有意思的方式:你与网站交互的界面仍然是网站本身,而不是API,同时人也参与其中。这就是我的一些想法。05 什么任务能交出去,企业又凭什么敢用Seema Amble: 换个话题,我想进一步聊聊,所谓完成一项工作,或者说完成一项端到端的工作,究竟意味着什么。
想听听你们的看法:什么样的方式效果好?你们如何界定一项合适的、范围足够窄且可重复的任务?哪些任务已经可以交给Agent,哪些任务仍然需要用户这边进行一些检查和纠正?James Sun: 嗯。
总的来说,我发现现在这个模型已经很有能力,基本上凡是你能在电脑上做的事情,它都能做。我有一个刻意要求自己去做的练习:每当我遇到一项任务,首先想到的就是,我能不能直接让Agent来做?
当然,这里面显然有一些敏感性问题。比如,如果我要给某人发消息,我希望对方感觉那是我亲自发的。但总体来说,我的想法是,自从Astra出现之后,Computer Use Agent已经能够完成一个人能做的任何事情。
以前大家会问,具体要求和任务细节是不是存在某种模糊地带。我的总体感受是,模型已经越来越擅长处理这些问题。每当你要求它做某件事,而要求里有些模糊时,它其实会处理这种模糊性。比如,我们在Astra中推出了flexible input,它会问你:“我需要一些细节。
”如果你没有及时回答,它就会继续推进,并在需要时自行提取上下文。我觉得,如果你有可重复的工作流,能够像写产品规格说明一样,把要求定义清楚,当然会很方便。但总体上,我现在的感觉是,除非有极其敏感的事情需要你介入,否则我做什么都会优先考虑使用Computer Use模型。
我很好奇,你是不是也一样。Ari Weinstein: 是的,我也是。我正在努力培养这种遇到事情就优先调用它的习惯,因为它真的很出色,但人有时很容易陷在旧的做事方式里。我觉得Computer Use这项技术真正酷的地方,在于它具有普适性。
它能和每一个应用配合使用,这一点不同于我们构建过的其他任何东西。其他技术需要开发者做一些适配工作,需要有人构建连接器或MCP server。Computer Use则可以和一切应用配合使用,而且它使用应用的方式,和人类使用应用的方式一样。
如果你还没有花太多时间了解这项技术,这一点值得理解:Computer Use使用电脑的方式和人类一样,它让Agent拥有你所拥有的全部能力。我觉得这非常强大。James Sun: 是的,我想补充你刚才说的一点。
随着时间推移,我已经不再把问题想成:我是在处理Computer Use任务,还是非Computer Use任务?它们往往是连在一起的,我们对Computer Use的理解,并不是说你拿起一个单独的工具,然后说“我想用它做点什么”。
它更像是模型为了完成任何任务所需的通用API。所以,如果你有一项有雄心的任务,希望Agent来完成,那么任务越复杂,它在推进过程中某个阶段接触到Computer Use的可能性就越高。
也许只有在任务简单到我自己点击两下就能完成时,我才不会考虑使用Computer Use。不过,随着Computer Use变得更快,甚至越来越快,问题也许会变成:我是不是连这两下都不用自己点了?
我只要通过语音发出指令,它就能和我一起使用电脑。这些也是一些有意思的想法。Seema Amble: 对于企业用户,你们有没有什么需要告诉他们,才能让他们对这件事感到放心?当然,你们完全沉浸在Computer Use里,但我觉得企业用户有时还是会犹豫:好吧,人类确实会点击这些步骤,而且可能做得更差,但人们还是会觉得,这里面有责任归属的问题,也会问,这个人是否接受过培训,以及所有那些经典的反驳理由。
我想听听你们的看法。Ari Weinstein: 是的。我们确实花了不少时间去说服大家。过去一段时间,我们和企业进行过很多交流。我觉得最主要的一点,是我们把这件事看成两层。第一层是:我们如何建立确定性的控制?
我觉得,这正是让企业感到安全的关键。我们的模型是迄今为止对齐程度最高的模型,而且我认为,在防范prompt injection和非预期行为方面,它比大多数人做得更好,因为它本身的智能程度非常高。
但即便如此,当企业管理员可以明确规定某些任务或某些数据源敏感到不能使用时,他们还是会有一种安全感。所以,我们在企业产品中推出了两项能力。第一项是,可以围绕Agent确定性地建立一个沙盒:可以规定它能使用哪些应用,不能使用哪些应用;
能访问哪些网站,不能访问哪些网站。第二项与人工介入有关,也就是哪些类型的操作需要人工介入。比如,你可以规定,每当发生下载或上传时,都必须由人审批;每当它进入一个新网站时,也必须由人审批。
当然,这些都像是企业可以自行调节的旋钮。然后,第二层实际上就是向企业管理员展示我们内部进行的各种评测,说明这些模型的对齐程度有多高,包括内部评测和第三方评测。我觉得,我们还会在所有产品中做一些基础工作,帮助人们建立对这类产品的信任。
我们知道,这项技术太新了,对人们来说,它有时是一种很神奇、甚至有些陌生的体验。因此,我们在产品设计上投入了很多精力:如果你想看它
Evidence
来源与证据
当前仅有一个可用来源,尚未完成多源交叉核验。
- 发布时间
- 内容处理
- AI 翻译 / 摘要,需结合原文核对
相关资讯
爆火的AI短剧带给教培行业的启示
本文来自微信公众号: 独立思考 ,作者:潘大叔1、红果短剧太火了,火到甚至引发了“字节时间”的争论,根据QuestMobile的监测数据显示,截至2026年9月,红果短剧日活突破2亿,超过“爱优腾芒”四家日活之和;红果的月活达到4.3亿,超过了豆包。而在这其中,AI短剧已经占据了红果的大半江山,真人短剧还没火过两三年,已经快要被AI短剧给团灭了。2、从短剧颠覆长剧,再到AI短剧颠覆真人短剧,我们能看到的是现在只有少数的顶流明星还相对容易接到戏,大量的二三流明星已经很难接到戏了,而原来大量的没入流的演员们之前涌入到短剧行业,现在他们面对的是不需要演员的AI短剧快速的抢夺了自己的饭碗。3、我在想教
收获了一个叙事反身性案例
本文来自微信公众号: 肖小跑 ,作者:肖小跑上个礼拜是大事频发的一周。从AI到市场到美国政治,都是breaking news。但偏偏这一周我忙得脚不沾地,没办法实时追踪。平时总觉得做我们这一行,漏掉信息是一件很危险的事。但每次“被漏掉”的结果,四舍五入大概率是正向的:你会少很多烦恼和惊吓也少了很多纠结,反正该发生的都发生了叙事被解释、放大、反转、重新定性的过程,你现在能看到个全貌了,所以现在发表观点,被打脸的可能性也小了皮质醇也稳定,别人经历了好几轮情绪起伏,我都还没来得及参加等到周末终于有时间坐回桌前补课,我首先想确认的是:到底有多糟糕?敲下这段话的时间是周日。假设我从前一个周五(10月30
AI与生物武器报告引发科学家分歧
本文来自微信公众号: 科技导报 ,作者:科技导报,原文标题:《AI与生物武器报告引发科学家分歧|深度报道》Anthropic称,研究人员可能利用Claude从事病毒与毒素方面的不当研究这是一则令人不安的警示,但其意义尚不明朗。2026年9月10日,人工智能(artificial intelligence,AI)开发商Anthropic发布了一份报告,指出美国境外的科学家可能试图利用其模型Claude开发生物武器。该公司披露了5个案例的部分细节,其中3个涉及病毒,另外2个涉及毒素。这是顶级AI公司首次公开承认其产品可能被用于生物恐怖主义或生物战,报告一经发布便占据各大媒体头条,并引起部分科学家的
ICLR2027首轮评审,槽点有点多
本文来自微信公众号: 机器之心 ,作者:关注ICLR的,原文标题:《ICLR 2027首轮评审,槽点有点多》这几天,机器学习顶会ICLR 2027的首轮评审意见陆续公开。对论文作者来说,这通常是一个颇为紧张的时刻。几个月甚至一两年的研究工作,终于要接受同行检验。审稿人会仔细检查方法、实验和理论推导,指出研究中真正存在的问题。但今年,一些研究者打开OpenReview后,看到的评审意见却让人有些哭笑不得。ICLR 2027的同行评审,一时间成了AI圈的一场大型吐槽现场。有人让作者解释标准差有人把AI提示词直接贴了上来先来看加州大学伯克利分校的Hanchen Li。他发帖称,自己收到了一份ICLR
AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。