单一来源
当前只有一个可用来源,尚未完成多源交叉核验在手机里如何塞下更大的端侧模型?面壁智能提供新答案
10月中旬,面壁智能与OpenBMB社区发布了开源端侧多模态系列最新模型MiniCPM-V 4.7,包括35B-A3B和1B两个版本。
其中,MiniCPM-V 4.7 35B-A3B可实现约3GB内存在iOS、安卓等系统上运行,这被视为公司在端侧AI应用上的一大技术进展。
“我们不想把判断说得太激进,而是选择一个相对稳妥、不容易引起争议的说法。”面壁智能联席首席科学家姚远表示,“这一代MiniCPM-V 4.7的35B模型,已经超过2023年的云端旗舰模型GPT-4V。”
它回应的是AI时代终端厂商将会非常关心的问题,在追求质量、效率、隐私安全等多重目标的前提下,如何在一部内存和能耗都有限的手机里,塞下尽可能更大的端侧模型?
把大模型放进手机先要分清两种空间,闪存是买手机时标注的256GB或512GB,通常用于存储照片、应用和模型文件,12GB或16GB的运行内存则是手机用于计算的工作空间。
姚远在接受界面新闻记者采访时表示,350亿参数模型即使用较激进的4位量化,权重仍约15GB,一次性装进旗舰手机的可用内存也很困难。
团队采用的是混合专家架构(MoE),35B-A3B对应350亿总参数和30亿激活参数,大部分专家的权重可以留在闪存里,必要时再进行读取。
这样做的问题在于,模型每生成一个token都要经过多层计算,手机计算单元需要反复等待读取以至效率低下。“在我们的测试中,iPhone 17 Pro Max如果直接采用这种方式运行,每秒只能输出3个token,用户很难接受这样的速度。”姚远说。
对此,面壁的解决方案为前瞻专家调度(LES)。前一层还在计算时,推理引擎就预测下一层可能用到哪些专家并提前读取。如果做得足够好,就能把加载时间完全隐藏在计算时间里。这其中也存在约束,例如如何尽量压缩内存占用,以及如何在保证输出质量前提下减少激活专家数。
经调校后,该模型在iPhone 17 Pro Max上的生成速度从每秒3个token上升至13个token,换成iPhone 18 Pro Max后进一步提升至20个token,最新2.0版本可在精度损失忽略不计的情况下优化至每秒30个token,内存占用仍为3GB。
据团队成员补充,结合速度、功耗、回答质量等因素考量,每秒15个token是兼顾可⽤状态与最强端侧智能的最佳速度权衡。
目前,从阿里千问等国产厂商到苹果、谷歌等海外巨头,更多公司参与到了端侧模型的研发、应用及部署之中,作为创业公司,面壁智能很难回避竞争护城河问题。
姚远认为单点模型不构成护城河,比拼的是全栈系统工程,由硬件、模型和基础设施这三个飞轮相互作用会得到明显增益——这也是团队优势所在。另外,投入生态共建,保持对模型、硬件趋势以及推理引擎最前沿的认知并将其有机融合到⼀起,也是不可规避的重要挑战。
在姚远看来,端侧模型性能的下一步上探,在硬件、模型和基础设施上短期可能存在局部卡点,但⽅法迭代很快,“⻓期来看,没有⼀个地⽅会成为单⼀卡点。”
手机、模型、芯片等多方厂商当前已接近形成共识,即端侧AI是大众普遍诉求,而做好这件事的必然路径就是软硬协同设计。硬件因为客观情况迭代相对较慢,但也在朝着主流模型架构贴合,模型则更容易在带宽、连接速度等硬件条件上做针对性设计。
一个值得分析的问题是,不是所有手机都是高端旗舰,中低端价位的手机在端侧模型应用上是否有更高挑战?
负责推理优化的⾯壁智能多模态⼤模型实验室算法研究员蔡天驰对界面新闻记者表示,上一代MiniCPM-V 4.6已在部分千元机上做到每秒约15个token,新版的轻量路线延续了这个目标。“1B这个版本是完全下探到千元机的。”他说。
需要指出的是,面壁智能同样认为端侧AI的完整路径也是端云协同,未来关键的分界点在于:终端设备上的智能⽔平到底怎么样、能接住多少用户的需求。
在姚远的想象中,用户需求是分层的,随着端侧智能⽔平的提升,每当它撞过⼀条需求线,就可以越来越多地把智能计算完全放在端侧。“照这个趋势,我觉得端侧智能会迎来类似个⼈计算、移动计算那样的变化,未来会有⽐较⼤的发展。”
面壁智能已有模型进入量产手机。据7月公布的信息,MiniCPM系列为三星Galaxy Z Fold8和Fold8 Ultra上的Galaxy AI提供端侧模型能力,涉及文本理解和多模态感知。团队表示,最新版本正与多家厂商接触,部分处于测试中。
对于端侧智能何时能够真正降临,面壁智能团队进行了一种定量的具象化呈现。
下图横轴是时间,纵轴是模型尺寸,也即参数量,点的颜色代表模型性能强弱(红强蓝弱)。以GPT-4V为参考,处于同一量级智能水平的模型相连即为“等智能线”,它表示截至某个时刻,要提供同等水平的智能,模型最小可以做到多大。
可以看到,不仅是这条线,众多云端旗舰模型都在迅速下探,而图中另一条线上升曲线,则表示端侧设备能够有效运行的模型尺寸,两线交汇即意味着相应云端模型的智能水平,可以在端侧实现。
“如果定义是GPT-6级别,那还没有发生,但这个过程正在快速推进。”姚远说,“按照这个发展,两年内GPT-6上⼿机,我们觉得没什么问题。”
Evidence
来源与证据
当前仅有一个可用来源,尚未完成多源交叉核验。
- 发布时间
- 内容处理
- AI 翻译 / 摘要,需结合原文核对
相关资讯
短剧造星是场空
文 | 潜水鱼X 王天龙 编辑 | 何润萱 前几天,微博热搜挂着一个挺扎心的词条:#感觉短剧演员已经消失了#。网友这次倒是没吵架,直接达成共识,认为这事儿得怪AI。 (图源:微博) 这倒也不算冤枉。如今AI内容迅速增加,真人短剧开机量不断收缩。根据公开报道,横店2026年上半年周均在拍剧组约22.75组,比去年同期少了近四分之一。大批靠人头走量的剧组消失了,能轮到真人演员头上的饭碗自然急剧缩水。 与此同时,短国的头部演员也在集体向“长内容”逃跑。曾辉在芒果台的综艺里跟郭晓东、张彬彬炒团魂、柯淳在“老妞”电影里跟闫妮、叶童搭对手戏。郭宇欣在民偶长剧里演了个女二,“艳压女一”的话题从开播
《持械入宋》主创团队回应爆款传闻:没有大额投流,也没赚1000万
“我们只想安安静静做剧,但现在接受采访的频率有点高。“ 《持械入宋》总编剧李朝华在和界面新闻记者谈及作品走红时表示,其团队做AI短剧的初衷很简单,把自己看过的好的故事演绎出来。他是番茄小说的重度用户,在做剧之前长期阅读网络小说。 这部改编自番茄小说同名作品的AI短剧,8月21日在红果上线,讲述现代五人小队穿越北宋宣和年间,种田练兵、抗敌升官的故事。上线两个多月,该剧已连续更新十季、近1000集。目前,该剧在红果平台收藏量超过1100万,全网累计播放量超过66亿,六神磊磊等名人自发推荐,成为今年下半年一部现象级AI短剧作品。 爆火的同时,关于这支团队的各种传闻也开始发酵。有传闻称,其团队投
苹果 iOS 27.3 代码曝光 Siri“个人记忆系统”,可记录用户各类信息
IT之家 11 月 9 日消息,根据代码研究人员 pdfu 分享的最新代码发现,苹果正在开发一套个人记忆系统,有望帮助 Siri 记住用户生活中的各种信息。根据相关发现,在苹果 iOS 27.3 测试版中,这套系统包含一个名为“记忆图谱”(Memory Graph)的组件,旨在整理用户的人际关系、常去地点、日常习惯、健康状况、锻炼情况,以及激励用户或阻碍用户实现目标的因素。IT之家注意到,系统还设计了名为“记忆原子”(Memory Atoms)的数据单元,用于记录事实、观点、意图和事件,并关联相关人物、地点、时间及话题等具体信息。据 pdfu 介绍,这套图谱通过两种处理机制收集信息。其中一种负
2连板东方新能:签署9.12亿元算力板卡采购合同
东方新能11月9日公告,公司计划由新能企管中心实施高性能算力集群项目,与经销商A签署销售合同,采购算力板卡,总金额约9.12亿元(含税)。本次采购的GPU产品主要用于AI应用推理、模型微调及图形渲染等场景,为公司拓展算力服务业务的首期投入。公司算力服务业务尚处于起步阶段,未形成相关收入,亦未形成确定的客户订单,本次采购对公司财务指标的影响暂无法测算。
AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。