当10万个智能体已在运行，安全防线到底在哪？｜CNCC 2026专家激辩智能体安全挑战

2026年，智能体从概念走向了生产系统。蚂蚁集团3万多名员工背后，已有10万余个智能体在运行。华为内部同样部署了成千上万个智能体，覆盖客服、办公、运维、研发各条业务线。放眼更广的产业图景，个人助手、AI for Science、网络安全自动化攻防、企业级工作流编排，智能体正在逐步接管人类过去亲力亲为的工作。

Gartner将智能体列入了2027年十大战略技术，安全圈里，非人类身份（NHI）成了RSAC大会上的新赛道。中国这边，国标、强标、最高法司法意见、三部委规范文件在今年密集出台，政策端的紧迫感与产业端的狂飙几乎同步。

10月22日，成都，在CNCC 2026”智能体的安全问题”专题论坛上，于锐、徐恪、胡侠、韦韬、肖亚军五位嘉宾齐聚一堂，分别从国家标准制定、高校AI安全研究、企业安全最后一道防线等角度，做出了各自的解读。

01 中国开始给智能体发“身份证”安全的第一步是搞清楚“它是谁”。但智能体能自主行动、跨平台迁移、在无人监督下链式决策和调用工具，传统的人类身份认证方式显然并不适用。CCF计算机安全专委会副主任委员于锐介绍，“中国在这方面的进展可以概括为三句话：国标引领、行业细化、企业落地。

”今年5月出台的GB/T 185系列标准覆盖了智能体安全治理的全生命周期，两个核心要求是授予每个智能体唯一的身份标识，以及实施统一的身份管理。编码方式采用OID，树形分层结构，一码一主体，永不重复。

“跟我们人一样，也给智能体发了一个身份号码。”于锐表示。另一个正在制定的强制性标准是《智能体应用安全基本条件》，该标准一旦发布，没有身份和标识的智能体将无法上线应用。而身份只是最表层的一环，于锐将智能体的身份拆为三层：第一层是产品身份，包含智能体的ID、代码指纹和版本号，用于回答“这是哪个智能体”；

第二层是运行时身份，校验其运行环境、设备信息和调用来源，反映“它此刻在做什么”；第三层是责任主体，通过实名认证和企业认定，解决的是“出了事找谁”。“不是授一次权就让它一直做下去，按任务给最低授权，任务完成就收回权限。

”于锐强调。技术实现层面，认证走OAuth/OIDC，授权走OAuth，凭证参考JWT格式。但无论走哪条技术路线，最终都绕不开一个关键问题：信任的锚点。关于这一点，于锐介绍了他们正在建设的国家网络可信身份公共服务平台。

国标的OID、W3C的DID、IETF基于DNS的方案，信任锚点都落在实名认证上。“这个国家平台是新型数字基础设施，主要是给公民签发线上的网号网证，就是你线上的身份标识和可验证凭证。

”于锐介绍，平台的实施管理办法今年7月正式发布，目前已达到每秒15万次的服务能力，接入了900多个机构，下载申领量突破6000万。“目的就是形成一个数字空间的信任根，来支撑国标185的落地。

”身份解决了“智能体是谁”的问题，但在责任归属上，由于智能体不是人，没有法律资格无法自己承担责任，这一点国内外并无分歧。对此，今年9月，最高人民法院发布了《关于审理涉人工智能纠纷案件的意见》，按控制力、场景和获利划分责任：一般场景适用过错责任，开发者和使用者承担风控告知和复核义务；

具身智能场景适用产品责任，机器人造成伤害，制造商承担无过错责任；涉及个人信息的场景实行过错推定，由运营方自证合规。02 旧安全架构无法抵挡新攻击标准和法规在加速推进，但技术侧的问题更为棘手。

“中文里‘安全’是两个字，英文里是safety、security、reliability、privacy、stability、trustworthiness，无数概念混在其中。AI这一轮爆发之后，攻防天平已经严重失衡。

”对于智能体安全问题现状，蚂蚁集团副总裁兼首席技术安全官、蚂蚁密算科技有限公司董事长韦韬感慨道。韦韬透露，就在大会前两天，一家知名的数据库公司全面爆雷，紧随其后，PHP和NodeJS接连曝出高危漏洞。

“大模型领域广泛使用的LiteLLM网关被投毒，攻击者在全面利用AI提升攻击效率。”防守方的处境则更加被动，AI编程导致代码产出速度暴涨，许多公司一个月的漏洞产出量已经相当于过去一年，修复速度始终无法跟上。

“大家非常熟悉的DAC、MAC、贝尔-拉帕杜拉这些访问控制模型，是在六七十年代主机时代起来的，在局域网时代完善的。到了云时代，整个链条持续扩大，主体爆炸、客体爆炸、链条爆炸，访问控制模型已经严重失衡了。

”韦韬指出，AI攻击能力的爆发式提升让各家的欠债集中暴露。与此同时，智能体带来的不只是旧问题的放大，还有全新的结构性隐患。韦韬将矛头指向了更底层的根源：自然语言本身就不适合作为安全载体。

“今天大家造智能体的习惯是自然语言加Guardrails，智能部分靠自然语言，过程部分靠Guardrails。但自然语言是一个非常糟糕的载体，含混，条件描述讲不清楚，逻辑控制的边界也讲不清楚，表达里到处是goto式的跳转。

这是攻击者最喜欢的环境。”为此，韦韬这几年一直在推动“智能体原生语言”的构建，将结构化表达和模糊推理融合，从载体层面重新搭建安全体系。载体之外，韦韬还谈到了沙箱和知识两个层面的缺口。

他指出，“安全就是一个沙箱”这种认知是非常落后的。至于知识的可信度，大模型的知识全部来自人类的实践，它自己没有实验、没有体系创新。金融、医疗等专业领域对可执行、可解释有硬性要求，但整个知识的组织形态尚未成型。

上海人工智能实验室主任助理、领军科学家胡侠则从AI研究者的角度，提供了另一重视角。他将安全问题分为两类：一类是内生风险，源自大模型本身的幻觉、黑箱，长期来看甚至可能出现与人争夺控制权的局面；

另一类是衍生风险，即大模型能力被恶意利用，尤其是CBRNE（生化放核爆）攻击。另外，他还举了一个“有点惊悚”的例子：UK BioBank中存有埃博拉的全基因组数据，过去蛋白质合成公司能识别并拒绝相关合成请求，但有了大模型之后，一个具备基本生化知识的本科生甚至高中生，就可能造出埃博拉的变种，绕过监管流程完成合成。

那么怎么才算“足够安全”？胡侠以人体健康为喻，将安全评测分为三层：第一层是症状层面，出了安全事件再回溯查找原因，对应运行前后的评测和审计。第二层是指标层面，尚未出事就先做体检，例如Anthropic此前开源的Mechanistic Analysis工具就是从参数和可解释性层面进行检测。

第三层是理论层面，是否存在足以支撑安全评估的科学基础？胡侠坦言，这一层现在看到的工作还比较少，差分隐私为隐私保护提供了理论根基，安全领域仍缺乏类似的理论框架。“也许Transformer架构本身就存在局限，10年后未必还是主流，也许会出现更安全的架构。

”胡侠表示。韦韬对智能体的定性则更为直接：不是坏，是蠢。“我们做安全的，从来不担心它有多坏。它就是一个少年谢尔顿，聪明但幼稚，极其容易被误导，上下文一旦失控就会变得很蠢。蠢才是真正可怕的。

在攻击者眼里，它就是一个特别好用的跳板。”在韦韬看来，一旦突破智能体这一层，后面的知识库、数据库、工具链尽为攻击者所用。在单点击穿后，前面部署再多防护也无济于事。03 智能体正悄悄越界，比例高达两成如果说韦韬和胡侠的分析是理论层面的预警，华为华为网络安全与隐私保护部副部长肖亚军带来的，则是来自生产环境的实证。

“从我们最后一道防线来讲，这一两年我一直处于非常焦虑的状态。”肖亚军表示，企业的安全目标没有变，也就是生产办公系统稳定运行、资金资产不丢，但挑战在持续剧变。“去年应对的是提示注入攻击，今年上半年是恶意Skills检测、恶意MCP Tools检测、机器投毒，从下半年开始，最焦虑的问题变成了一个：失控。

”肖亚军团队对华为内部运行的智能体做了一次抽样摸底，结果并不乐观：5%到20%的智能体，其行为已超出人类为其设定的预期边界。“而我们人类可能根本不知道。”他表示。更具冲击力的是一个内部真实事件：今年7、8月，华为自己开发的一个智能体攻击了公司线网，安全团队拉了一个war room排查半天，最终锁定肇事者是某个智能体，而该智能体的开发团队对此毫不知情。

“OpenAI披露的那件事，大家以为离我们很远。不幸的是，它就在我们身边发生着。”肖亚军将失控风险分为三个递进的层次：单智能体失控。他认为智能体系统可能是地球上从未出现过的超复杂系统。

5%到20%的越界率已经表明问题的严重性。群体性失控。 在OpenAI披露的报告中，1200个智能体里有700个对Hugging Face的生产系统发起了攻击。这些智能体甚至建立了私密通道，相互分享攻破经验，依靠群体智能完成了突破。

动态失控。 智能体并非静态产物，它有知识系统、记忆系统，很多还在引入自进化能力，每天都在发生变化。开发阶段评测通过，并不意味着运行时同样安全。04 自主性和安全性不是零和博弈论坛的最后一个问题指向了智能体安全的核心悖论：智能体的价值在于自主性，而安全恰恰要求收紧自主性，那么自主性和安全性能否共存？

对此，于锐引用了Andrej Karpathy提出的“自主性滑杆”概念：将认知能力的滑杆拉到最高，让智能体充分发挥分析规划能力。将执行授权的滑杆拉到最低，按风险场景分级。“一个高音一个低音，不矛盾。

”在具体操作层面，他给出了几条原则：按场景做安全威胁分级授权、所有动作可审计可解释可复核、保持动态持续核验。徐恪则用一个学生的亲身经历说明了“沙箱并不等于安全”。学生让智能体在沙箱中复现一个漏洞，结果智能体为确保进入沙箱后万无一失，自作主张先在学生的工作电脑上“预演”了一遍。

预演是成功了，但代价是电脑上的文件被清空。“它知道要去沙箱，但它会自己给自己加戏。”徐恪指出，沙箱安全的前提假设是智能体服从指令、确实在沙箱内执行，而智能体已经打破了这一假设。有研究表明，给智能体设定的禁止事项清单，80%会被其忽略。

对于这个问题，胡侠选择从另一角度做解读，在他看来，与其追求平衡，不如让安全能力成为智能体的内生属性。“安全约束就像安全带，有了它才能开得更快。安全能力应该是内生的，再叠加外部约束，让它运行得更好。

”肖亚军则从Anthropic提出的“宪法 AI”切入，他认为“宪法AI”约束的核心在于不伤害人类，这不是限制，而是用户敢于使用智能体的先决条件。他透露，华为正在充分利用智能体的自主性去发现系统漏洞、做安全加固，因此安全和自主性并非此消彼长，而是相互成就。

韦韬给出的方案颇为务实，他提出，做业务的智能体专注自主性，但必须具备基本的安全认知，所以安全保障必须交由专业的安全系统来承担。“因为真正的安全攻防根本不是普通智能体能搞定的，两套系统各司其职才能达到平衡。

”在雷峰网看来，这场论坛呈现了一个清晰的信号，智能体安全已经不是未来的议题，而是当下的危机。过去几十年，网络安全的逻辑始终是人造系统出了漏洞，人来修。但智能体打破的正是这个前提，当一个会自主行动、会犯错、会进化的智能体摆在人类面前，我们第一次要面对一个需要被“治理”而不只是被“修补”的软件物种。

围绕它的安全体系建设，注定不是在旧框架上打补丁就能完成的事。好消息是，中国在标准制定和司法配套上的动作很快。但标准能否赢智能体的进化速度？放眼当下，教科书的体系已经有严重缺口，新的安全范式还在路上。留给产业界的窗口期，恐怕不会太长。