单一来源
当前只有一个可用来源,尚未完成多源交叉核验百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B
IT之家 11 月 5 日消息,百度文心大模型今日发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练;
最长训练上下文为 128K,微调与推理支持 1M tokens 上下文。本次发布的权重未经中训练与后训练,可作为领域适配、指令微调和强化学习研究的共同起点。官方表示,Base 模型只是起点。
经过后训练的 ERNIE 5.5 Flash 将随后推出。ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练,采用 Muon 优化器与 FP8 混合精度。
预训练语料覆盖广泛的领域与语言,并重点建设了三个方向:网页数据:多语言网页抓取、高保真文本抽取与模型驱动的多维质量过滤。代码数据:仓库与网页代码经非代码过滤、去重与质量分级,并补充 commit、issue、pull request、代码评审、自动生成的测试、经 CI 验证的修复等软件演化与执行验证类数据。
长文数据:精选的天然长文档、混入语义相近检索干扰文本的长序列,以及合成的检索、基于引用的问答与多跳问答数据。▲ 模型结构据介绍,训练系统与模型结构协同设计。优化器采用分布式 Muon:在数千卡规模下,Dense 参数与 MoE 参数的跨机通信合并为一次集合通信,降低了跨机时延与抖动。
注意力算子采用基于 CuTe-DSL 的 FlashMask-4,支持 SM90 与 SM100 架构,head dim 最高支持 576(qk)/ 512(v),可直接用于 HCA 层 512 维宽头的计算。
IT之家附评测数据与开源链接:文心大模型在 30 项 Benchmark 上评测了 ERNIE-5.5-Flash-Base,涵盖综合、知识、理科、推理、多语言、代码与长上下文七类能力,并列出同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 的结果,四个模型均基于各自公开发布的 checkpoint、使用同一套评测框架。
ERNIE-5.5-Flash-Base 在各能力维度上均表现良好;长上下文方面,尽管 43 层中有 37 层在 128 倍压缩后的序列上做注意力,6 层 MLA-DSA 已足以支撑细粒度检索。
完整表格见 Hugging Face 模型卡。技术博客:https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/Hugging Face(FP8):https://huggingface.co/baidu/ERNIE-5.5-Flash-BaseHugging Face(BF16):https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16微调示例(Megatron-Bridge):https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55
Evidence
来源与证据
当前仅有一个可用来源,尚未完成多源交叉核验。
- 发布时间
- 内容处理
- AI 翻译 / 摘要,需结合原文核对
相关资讯
DeepSeek发布创作者模式,下一代大模型计划基于华为昇腾芯片预训练
“你的Harness,由你定义。”(Your Harness. You Define It)在发布智能体更新后,DeepSeek再次更新Creator Mode(创作者模式)。11月2日,澎湃新闻记者获悉,DeepSeek Harness发布Creator Mode(创作者模式)演示视频,集中展示通过对话创建插件的能力,并公开七组演示的中英文提示词。据DeepSeek在推送中介绍:“来认识DeepSeek Harness中的‘创造模式’,把想法转化为你能直接使用的插件:可以是设计工作台、沙盒游戏,或是一个3D大模型可视化工具,你会创造出什么?”所谓Harness,是指围绕大语言模型构建的一套软
百度发布 Apollo World 世界模型,助力无人驾驶规模化落地
百度发布 Apollo World 世界模型,助力无人驾驶规模化落地 4 小时前 百度 Apollo 在相关专场上首次披露面向物理 AI 的智能体驱动全模态世界模型 Apollo World,提出世界模型「2 + 3」判断标准,该模型已用于萝卜快跑全球化测试与验证,助力无人驾驶规模化落地。Apollo World 将虚拟场景内所有交通参与者建模为具备决策与交互能力的 AI 智能体,支持无人车在虚拟城市任意起终点通行,其技术栈还可拓展至机器人等更广泛的物理 AI 场景,虚拟路测效率极高,依托真实运营数据形成真实运营与虚拟验证相互促进的闭环,可帮助消化测试成本与部署风险,破解无人驾驶规模化的「
国内三大顶尖大模型负责人乌镇同台对话:开源后如何防范风险
11月3日,2026年世界互联网大会乌镇峰会在浙江桐乡乌镇开幕。此次峰会的主题是“开源开放 共建共享——携手构建网络空间命运共同体”,聚焦人工智能的开源开放。这也是世界互联网大会第一次把“开源”置于主题位置。围绕上述主题,当天下午举行的主论坛专门开设了“人工智能乌镇对话”环节。在世界互联网大会人工智能专业委员会首席主任委员、中国工程院院士、之江实验室主任王坚的主持下,国内三大顶尖开源大模型企业——DeepSeek(深度求索)、阿里千问和MiniMax(稀宇科技)的相关负责人针对开源大模型的热点问题展开交流。“人工智能乌镇对话”现场。澎湃新闻记者 徐益平 图国内大模型企业为何纷纷选择开源过去一年
首款鸿蒙台式机华为擎云 HM650 系列发布:搭载麒麟 X90 桌面处理器,实现 100% 国产化率
IT之家 11 月 5 日现场消息,在今天的华为擎云 2026 鸿蒙办公产业峰会现场,华为终端平板与 PC 产品线总裁朱懂东正式发布了首款鸿蒙台式机 —— 华为擎云 HM650 系列。据介绍,华为擎云 HM650 系列搭载鸿蒙电脑企业版 + 麒麟 X90 高性能桌面处理器。灵犀 CPU 10 核 20 线程,支持智能超线程调度;马良 GPU 支持 GPU 硬件加速;达芬奇架构 NPU 本地算力支持多尺寸模型入端。华为擎云 HM650 系列预装鸿蒙 HarmonyOS 系统,支持 HyperSpace Memory 超空间内存技术,内存压缩效率提升 50%、大文件打开数量提升 40%。新机拥有新
AI 翻译、摘要和解读仅用于辅助判断;涉及重要决策时,请回到上方来源核实。