WAIC面壁分论坛现场：高通如何面向智能体AI打造全栈技术架构

7月19日，高通公司全球副总裁、中国区研发负责人、IEEE Fellow徐晧博士在“端侧AI创新和行业发展论坛”上，发表了题为《智能体AI时代：计算架构与模型效率的持续创新》的演讲。这场演讲系统梳理了端侧AI应用的前景，以及智能体浪潮对终端计算架构带来的范式变革。下面就是演讲的核心内容整理。

徐晧博士指出，端侧AI应用的市场空间远比很多人想象的要大——从手机、耳机到汽车，各类终端的市场规模动辄以十亿计。过去大家更多关注数据中心的大规模训练，但端侧的应用同样拥有广阔前景。以手机为例，从简单的单轮对话到多轮交互，再到智能体调度，设备所需的Token处理量正以十倍级递增：一万、十万、百万级。比如，在手机上调用智能体所需的Token数量非常大，目前阶段必须采用端云结合的方案——端侧小模型处理隐私性强、需要实时响应的任务，云端负责深度推理和规划。未来，随着模型优化和硬件提升，越来越多处理会迁移到端侧，减少对数据传输和云端Token运算的依赖。

徐晧博士提到，面壁智能在端侧模型的布局很早就引起了高通的关注，双方有很多契合点。事实上，端侧模型在未来一至两年内，完全可以达到与几十倍算力的云端模型同等的功能，而且这个趋势还在加速——更多大模型将迁移到端侧，以小模型的形式出现。随着硬件算力持续提升，这些模型在端侧也能轻松运行。

那么，从硬件设计的角度看，要打造一款真正的智能体手机，需要攻克哪些关键难点？

首先是任务规划。智能体需要出色的任务规划能力，高通通过全新的CPU来承担任务规划和控制。

其次是传感器信息的实时处理。传统手机只有用户主动给出指令才执行任务，不需要24小时感知环境。但智能体手机必须主动帮助用户——比如感知到你在大会现场，自动将手机静音；感知到你进入座舱，自动调节温度和座椅位置。这需要低功耗的传感器中枢，对大量传感器数据进行有效处理和融合，精准感知环境，为智能体提供决策依据。

第三是NPU。要为端侧提供强大的模型运算能力，高通对NPU做了大量模型适配和优化，利用其高效张量计算能力，让2B到3B量级的模型在手机端流畅运行。

此外，出色的5G或6G连接能力也必不可少。目前大部分智能体功能依赖云端，但随着端侧模型越来越强，端侧、云端和边缘云需要协同处理，优秀的无线连接可以将端侧与云端的算力无缝衔接。

具体到高通提供的硬件支持，传感器中枢是核心之一——它能够24小时在线感知用户信息，为端侧大模型或小模型提供情境感知，打造个人知识图谱。而NPU则为端侧提供强劲算力，比如刚才提到的20亿、30亿参数模型，都能在端侧流畅运行。高通最新的旗舰移动平台第五代骁龙8至尊版，以及今年即将推出的更强大平台，都围绕这些需求设计。座舱芯片同样具备强大算力，能够支持百亿参数以上大模型在车端稳定运行。

从应用和模型演进来看，高通已经完成了从感知AI到生成式AI，再到智能体AI的迭代。下一阶段重点将推进物理AI，实现从小模型向多功能大模型的转变。在算法层面，高通做了大量模型在端侧的适配，包括模型压缩与量化、长上下文处理与增强，以及端侧模型的持续学习（on-device learning）。

最后，从汽车到机器人的演进，需要将二维空间规划升级为三维真实世界的理解，还要针对更复杂场景进行优化。这是高通从汽车芯片到机器人芯片领域正在开展的工作。高通与面壁在手机和车端已经有很多深度合作，未来也期待联合更多合作伙伴，共同推进智能终端在端侧的应用和发展。