当前位置:

首页 > 硬件相关 > 54GB降到4GB!苹果接洽PrismML,模型压缩技术要火?

54GB降到4GB!苹果接洽PrismML,模型压缩技术要火?

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

苹果接洽初创公司PrismML,其模型压缩技术可将270亿参数模型从54GB缩减至不足4GB,使大模型在iPhone上原生运行成为可能。该技术通过二值或三值表达简化参数存储,虽存在性能损失,但为端侧AI能力提升提供了新路径。

本文目录

    什么?大模型终于也开始打减肥针了?

    这可不是瞎说,据CNBC报道,苹果正在接洽初创公司PrismML,后者以其最近推出的模型压缩技术而著称,苹果希望借此评估在iPhone上直接运行更大规模AI模型的可行性。

    image.png

    (图源:CNBC)

    要知道,这些年每到手机发布会的AI环节,大家一般都会下意识拿起水杯。

    倒也不是和厂商有啥矛盾,实在是这套流程大家都太熟了。先让AI总结屏幕上的各种东西,再用各种图像编辑去做点个性化调色,或者是消掉照片里的路人,然后今年还普遍加了个项目,叫出一个语音助手帮你点杯咖啡。

    但这倒不能全怪手机厂商,现在的主流大模型确实塞不进手机里,裁剪后的端侧模型,智商又实在不太够。到头来,大家能宣传的也只有云端更新的东西,你看豆包更了个AI播客功能,主流厂商基本上三个月内全部跟进了。

    问题来了,如果完整大模型瘦到手机装得下,端侧AI助手就真的能转正吗?

    54GB降到4GB,模型压缩技术要普及?

    先来看看这两个问题:

    PrismML是谁?

    根据官网介绍,PrismML是一家专攻模型压缩的初创公司,它脱胎于加州理工学院研究团队,背后有Khosla Ventures、Cerberus和Google支持,研究重点就是怎么在尽量不把模型压傻的前提下,把体积和运行成本狠狠干下来。

    image.png

    (图源:PrismML)

    他们做了什么?

    PrismML的思路和BitNet这类低比特模型路线有相似之处,它通过大幅简化人工智能模型内部信息的存储方式来缩小模型体积,将模型中的每个权重限制为二值或三值表达,显著降低存储和运行模型所需的内存。

    具体来说,传统大模型的一个参数,通常需要16bit甚至32bit来保存。

    image.png

    (图源:HuggingFace)

    在这种情况下,如果一个270亿参数模型采用FP16精度,270亿×2 Byte≈54GB,这就是Qwen3.6-27B在FP16下的大致体积。

    别说智能手机了,很多消费级PC也很难完整跑起来。

    而在PrismML的思路下,1-bit版的参数都会被简化为 {-1, +1} ,就像以前照片上的每个像素会保存16级灰度,现在只需要保存黑、白两种灰度,虽然信息损失巨大,但是体积能压缩到原版的1/14,并能通过训练方式恢复推理性能。

    image.png

    (图源:PrismML)

    在这个技术的基础上,他们在7月15日正式推出了Bonsai-27B模型,基于Qwen3.6-27B模型微调,在保留完整上下文的基础上,将该模型从约54GB缩减至不足4GB,使其可以在12GB内存的iPhone上原生运行。

    要知道,谷歌面向手机和边缘设备推出的Gemma 4 E4B约3.65GB,PrismML等于用差不多的“占地面积”,塞进了名义上270亿参数的密集模型。

    使用体验先不讨论,硬件厂商看完肯定两眼放光。

    image.png

    (图源:PrismML)

    所以苹果会对这玩意儿感兴趣,一点都不奇怪。

    要知道,苹果自己的端侧模型大约是30亿参数,也用了2位量化、缓存共享这些手段,却只能负责手机上的实时翻译、相册搜索和邮件摘要这些功能,基本没有Agent相关的执行能力。

    而Bonsai-27B模型,仍保留了Qwen3.6-27B的一部分Agent能力。

    当然,性能损失还是有的。在PrismML自己的测试里,三值版综合成绩大约保留全精度模型的95%,1-bit版约90%,至于工具调用这些Agent很看重的项目,损失会更明显。

    社区测试也有人反馈:PrismML三值版本相比Q4_K_XL仍存在幻觉、Agent循环等问题,不过优势是体积极小,基本做到了以5.9GB媲美17.9GB的效果。

    屏幕截图 2026-07-16 114523.png

    (图源:Reddit)

    但不管怎么说,能用就是比不能用要强。

    从物理意义上的塞不下,到实际体验能不能接受,继续这样推进下去,后面就有得卷了。

    AI手机爆发在即,端侧AI能力亟待提升

    有趣的是,7月15日,苹果智能、华 为小艺、OPPO、小米、vivo等七款提供手机端侧生成式人工智能的模型服务,均已在网信部门完成备案。

    你别说,这名单看着挺热闹,明显今年手机厂商都开始认真安排端侧AI了。

    image.png

    (图源:网信办)

    原因也不难理解,像是通知摘要、通话整理、相册搜索、图片识别这些事情,根本没必要每次都跑去云端排队。

    特别是聊天记录、照片和文件这种私人信息,能在自己手机里解决当然最好,考虑到Grok最近爆发的隐私门,完全能理解大家不希望自己的信息在互联网上传来传去的心情。

    37e7b7f6-9af6-4c56-aa24-8aaa6111a004.png

    问题来了,从实际体验来看,目前各家手机AI功能还是以云端为主,绝大部分功能断网以后就无法使用了。

    为什么会出现这种情况?目前手机的端侧AI又发展到了什么水平呢?

    正好,最近也在Google AI Edge Gallery里试了Gemma 4 E4B,可以给大家分享一下使用体验。

    1748776879707.png

    (图源:谷歌)

    首先,大家要注意,Gemma 4 E4B已经算手机端侧模型里相当能打的一款,文字、图片、音频都能处理;模型下载好以后,断网照样能聊。

    比如Ask Image,就实现了以往很多手机端侧AI很难做好的多模态输入。

    实测下来,Gemma 4有着不错的图片识别能力。虽然它对动漫角色依然不太熟,但是对于画面里的特征捕捉做得很不错,比较常见的食物、硬件、花卉也都能识别出来。

    新建项目 (5).jpg

    还有Ask Audio,最多可上传30s音频并进行转写、总结等。

    这个功能就比较逊色了,可能是因为录音比较模糊的缘故,语音转文字出来的内容和原音频几乎没有关系,目前可用性挺一般的,还是老老实实用豆包或者千问来总结比较好。

    新建项目 (2).jpg

    至于文本处理嘛...

    给几个能在手机端部署的模型喂了一篇2500字左右的文章,希望它们给出对应的文章总结。

    最终,只有Gemma 3n E4B和Gemma 4 E4B能完成任务,但是前者耗时将近两分钟,而且给出的答案抓不住重点,后者给出的答案更加简明扼要,主要信息点基本都抓到了,拿来快速扫资料完全够用。

    新建项目 (4).jpg

    甚至就连一些过往解决不了的逻辑题,Gemma 4 E4B也能通过长时间思考拿下,只是思考时间远超在线大模型的响应时间罢了。

    从实际测试来看,Gemma 4 E4B已经证明,手机本地模型确实能干活。

    但只有在拿它做摘要、改写、简单识图时,愿意用;可任务稍微复杂一点,尤其涉及长中文、细节判断和内容创作时,它和在线大模型之间的差距依然很明显,就更别说Agent调用一类的任务了。

    要知道,从压缩率和功能性上看,Gemma 4已经是目前最强的手机端侧AI了。

    想要突破这个效果,苹果只能舍弃现有的压缩方式,通过在相同的空间内塞入更大参数量的模型,或许才能让手机拥有一个不那么容易犯傻的大脑。

    参数规模不重要,效率才是模型应用的关键

    以前大家谈大模型,总觉得参数越多越有排面。

    百亿只是起步,万亿也不嫌多,在发布会上报数字像菜市场称重,主打一个“我家萝卜,又大又壮”。

    看起来没问题,但是实际运行起来就是另一回事了。

    根据Jordan Hoffmann团队的Chinchilla scaling law研究,在相同训练算力下,训练数据更充分的70B模型能够全面超过欠训练的280B、530B模型,哪怕是万亿参数的MoE模型,显存占用和内存带宽依然是不小的问题。

    image.png

    (图源:arxiv)

    更重要的是,参数如此庞大的模型,自然不可能进入消费级终端。

    端侧模型想要常驻手机,就得提升效率,直面内存、功耗和散热问题。PrismML的压缩算法,算是给各家硬件厂商指明了一条路,再加上千问、百度与苹果的本地化合作,也算是让苹果三年前承诺的“苹果智能”距离真正落地又进了一步。

    以后大模型的进步,未必还要靠参数数字吓人。

    能在不大的存储空间里稳定工作,少犯傻,少发热,关键时候真能帮上忙,这才是端侧AI下一阶段最该卷的东西。

    主题为「智能伙伴·共创未来」的WAIC2026开幕在即。

    AI叙事路线从模型参数堆叠,转变到Agent生产力落地;异构协同、光子计算持续提高计算上限;具身智能加速应用,机器人到家进厂让物理AI变为现实。

    WAIC2026.jpg

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 AI
    相关文章 更多
    剪映专业版画质修复怎么用 老视频清晰化处理
    剪映专业版画质修复怎么用 老视频清晰化处理

    选中视频段,右侧属性栏最右的「AI 效果」里选超清画质,挑强度后云端处理;锐化和特效补不回分辨率,源文件压缩过重时效果有限。

    AI桌面浏览器网页打不开怎么办 缓存清理排查方法
    AI桌面浏览器网页打不开怎么办 缓存清理排查方法

    先分范围:全部打不开查网络与代理,单个打不开清缓存换浏览器;扩展误杀也会导致白屏,临时停用可验证。

    AI桌面浏览器AI图像处理支持哪些功能 老照片修复怎么用
    AI桌面浏览器AI图像处理支持哪些功能 老照片修复怎么用

    四类:模糊修复、老照片修复、漫画头像、去水印消除;老照片上传后自动去噪补划痕,缺失五官无法还原。

    AI桌面浏览器新标签页小组件怎么添加 天气热搜配置
    AI桌面浏览器新标签页小组件怎么添加 天气热搜配置

    新标签页找「添加小组件」按钮勾选卡片,可拖动位置;天气需定位权限、日历需日程权限,没授权会显示空白。

    AI桌面浏览器内核是什么 Chromium单核怎么确认
    AI桌面浏览器内核是什么 Chromium单核怎么确认

    基本都是 Chromium 单核,在「关于」里能看到具体内核版本;单核更轻快,但只支持老 IE 的站点需另找办法。

    AI桌面浏览器热搜榜功能在哪看 一键查看设置
    AI桌面浏览器热搜榜功能在哪看 一键查看设置

    侧边栏工具列表里的「热搜榜」即实时榜单,点条目带关键词跳搜索结果;可在侧边栏设置里取消勾选。

    AI桌面浏览器软件安装功能怎么用 一键装软件教程
    AI桌面浏览器软件安装功能怎么用 一键装软件教程

    软件中心搜索或按分类找软件,点安装自动完成;商店版无捆绑但版本可能滞后,要最新版还是去官网下。

    AI桌面浏览器软件管理功能怎么用 软件升级操作步骤
    AI桌面浏览器软件管理功能怎么用 软件升级操作步骤

    软件中心「升级」筛选里能看到可更新项,升级前先退出正在运行的程序;失败多为权限或残留进程,用管理员权限重试。

    AI桌面浏览器怎么设为默认浏览器 系统设置方法
    AI桌面浏览器怎么设为默认浏览器 系统设置方法

    设置里点「设为默认浏览器」跳系统设置;Win11 要逐项指定 http、https、htm、html 四项,漏一项链接仍会跳走。

    AI桌面浏览器桌面壁纸怎么更换 右键菜单操作方法
    AI桌面浏览器桌面壁纸怎么更换 右键菜单操作方法

    桌面空白处右键选更换壁纸,选本地图或内置图立即生效;选完看一眼小组件与图标是否还看得清。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?