当前位置:

首页 > 硬件相关 > 硅谷NexaAI发布端侧AI新方案

硅谷NexaAI发布端侧AI新方案

2025年,是AI硬件的全面爆发之年:AI手机、AIPC、AI陪伴、AI眼镜、AI智慧座舱……然而,云端大模型主导的AI硬件正在显露隐忧:高昂的API调用成本让中小企业望而却步,隐私数据上传云端的安全风险如影随形,网络延迟与垂域适配不足更是制约着端侧的场景创新开源端侧小模型崛起正在改写游戏规则:英伟达也在论文《SmallLanguageModelsaretheFutureofAgenticAI》宣告:小模型才是AgenticAI的未来。1.部署难、表现差?端侧AI发展仍面临痛点当开发者们摩拳

本文目录

    2025年,是AI硬件的全面爆发之年:AI手机、AIPC、AI陪伴、AI眼镜、AI智慧座舱……然而,云端大模型主导的AI硬件正在显露隐忧:高昂的API调用成本让中小企业望而却步,隐私数据上传云端的安全风险如影随形,网络延迟与垂域适配不足更是制约着端侧的场景创新

    开源端侧小模型崛起正在改写游戏规则:英伟达也在论文《SmallLanguage Models are the Future of Agentic AI》宣告:小模型才是AgenticAI的未来。

    1.部署难、表现差?端侧AI发展仍面临痛点

    当开发者们摩拳擦掌,想要用先进小模型打造创新应用时,现实又浇了一盆冷水:

    部署门槛高:端侧平台的推理框架并不像云端那样容易适配:工具链有CUDA、QNN、ANE、ROCm、Openvino,openCL, metal, vulkan等等五花八门……耗费数月踩坑仍难跑通最新模型;

    性能表现差:即使顺利通过部署,由于推理引擎适配不当导致精度下降、输出缓慢、能耗飙升,让端侧应用体验大打折扣

    跨平台噩梦:不同硬件(PC,手机,车机,IoT)、心片(高通、Intel、AMD、苹果)间的适配壁垒,让跨设备应用开发重复“踩坑”,效率极低。例如可以在高通PC上运行的多模态模型无法自动移植到高通车载端。

    最新的模型支持差:NPU上普遍只能跑1年以前发布的模型,无法使用最新的模型(如Mistral3,Qwen3-VL),模型需要等待非常久的时间才能得到支持。

    2.端侧AI部署的新思路

    最近美国硅谷明星端侧AIStartup Nexa AI公司在github上发布的NexaSDK,为全球开发者带来了破局新思路。这个项目致力于解决长期存在于端侧模型部署中的共性问题,让AI模型在手机、PC、汽车、IoT等边缘设备上的落地变得前所未有的简单。

    github可搜索:nexa-sdk(如果认为对您工作有帮助,欢迎为开源作者star)

    NexaSDK 构建了4大核心优势,解决端侧AI部署的核心痛点:

    跨平台统一推理框架:NexaSDK由NexaML引擎提供支持,该引擎是从心片Kernel层打造的跨硬件平台统一推理引擎(支持电脑,手机,车,IoT,机器人,以及AR眼镜等设备),并支持三种端侧模型格式:GGUF格式、MLX格式以及NexaAI 自主研发的.nexa格式。

    NPU,GPU, CPU深度适配:NexaSDK可在多种算力平台的NPU、GPU、CPU上本地运行各类人工智能模型—— 它不仅使用简单、灵活性高,而且性能佳。特别是支持各大算力平台的NPU心片(覆盖高通HexagonNPU, 苹果NPU,AMDRyzen AI NPU,以及IntelNPU),充分利用NPU性能,可以解决过往端侧模型在CPU/GPU上运行带来的输出速度慢、能耗高的问题,能效比是CPU和GPU的9倍以上。

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    任意多模态模型Day-0支持:面对快速更新的开源模型市场,NexaSDK能够做到在新模型推出的第一时间适配各个硬件后端(NPU,GPU, CPU),并且支持多种模态Vision,Text, Audio, 以及CV模型;

    低代码极致易用:使用一行代码即可调用本地模型,OpenAIAPI 兼容设计让开发者无缝衔接代码,大大降低了端侧AI的应用门槛。

    NexaSDK与其他端侧SDK的比较优势:

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    NEXASDK一经发布也获得了包括AMD/高通的诸多行业认可:

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    3.快速上手:快速解锁端侧AI能力

    根据使用方式和平台,NexaSDK提供不同的工具包:

    NexaCLI:可在MacOS/Windows/Linux使用命令行终端速测试模型及运行本地服务器;同时支持在Linux系统的容器化环境中运行AI模型;

    NexaSDK Python开发工具:可在MacOS/Windows/Linux平台使用Python完整运行SDK

    NexaSDK Android/iOS开发工具:支持在移动端设备跨NPU/GPU/CPU推理的安卓/iOS开发工具包

    NexaSDK实现了全平台支持,全球首次统一支持苹果NPU、IntelNPU、AMDNPU、高通NPU等4类NPU推理加速心片,让端侧模型边缘推理拥有了更广泛的实现和应用场景。

    3.1Nexa SDK CLI快速体验

    下载路径:

    可以从NexaAI官网或者githubnexa-sdk项目下载NexaCLI。

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    一行代码运行模型

    NexaSDK支持LLM、多模态、音频(ASR\TTS)、CV、生图等多种端侧模型。例如:

    多模态模型

    NexaSDK在Qwen3VL发布当天 Day-0跨平台支持,领先 llama.cpp/ollama 三周,并得到Qwen官方认可

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    车载多模态模型(适配高通SA8295P心片NPU)

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    相比于其他框架,NexaSDK对于新模型的支持速度还是非常迅速,可以访问NexaAI官网和NexaAI huggingface官方模型仓库查看使用更多精选的模型。

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    目前NexaCLI支持MacOS、Windows、Linux(并支持Docker运行),同时提供PythonAPI, IOS Swift API、AndroidKotlin/JAVA API开发工具包。

    兼容OpenAIAPI

    NEXACLI还提供OpenAI兼容的RESTAPI ,一行命令即可访问服务接口,无缝覆盖对话生成、文本嵌入、文档重排序、图像生成等核心场景,满足多样化开发需求。

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    /v1/chat/completions- 用于LLM和VLM的对话生成

    /v1/embeddings- 为文本生成向量嵌入

    /v1/reranking- 根据查询相关性对文档重新排序

    /v1/images/generations- 根据提示生成图像

    更多命令可以查看官方文档

    3.2Nexa SDK Python 开发工具包

    NexaSDK Python工具包,适配MacOS、Windows、Linux等全平台优化后端,无论是本地开发还是企业级应用,都能使用Python更高效落地。可以使用PythonAPI一键运行LLM、VLM、OCR、ASR、TTS、图像生成、说话人分离、键值缓存、采样配置、对话模板以及错误处理等。

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    3.3Nexa SDK Android/iOS开发工具包

    下载地址:

    NexaSDK Android工具包:可直接从Maven中央仓库获取,或访问githubnexa-sdk项目

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    NexaSDK iOS工具包可以从githubnexasdk-mobile-iOS-framework项目获取。

    Android设备上支持直接运行的包括LLM、VLM、Embedding模型、OCR模型、CV模型、ASR模型、rerank模型以及生图模型,且支持通过NPU、GPU和CPU进行推理。通过Kotlin/JavaAPI 轻松集成,性能提升2倍,能效比优化9倍,重塑移动智能体验。

    使用简洁的SwiftAPI,开发者可在iOS/macOS设备上直接运行LLM、VLM、Embedding模型、ASR模型以及rerank模型。目前,ASR模型与Embedding模型已支持苹果神经网络引擎(ANE)加速,其他模型则基于图形处理器(GPU)与中央处理器(CPU)运行,同时可以达到性能提升2倍,能效比优化9倍的惊艳体验。

    硅谷人工智能公司NexaAI发布端侧AI部署新思路

    4.为开发者带来丝滑体验:创意无需妥协

    一行命令跑通:nexainfer 极简操作,告别复杂配置;

    OpenAIAPI 无缝兼容:现有代码零修改,直接迁移端侧运行;

    95%NPU 利用率:性能优于QualcommGENIE,极致发挥硬件潜力;

    首发支持前沿模型:Qwen3、Granite、Liquid、Gemma3n、Parakeet等最新模型快速适配;

    结构化输出:天然适配 AIAgent 工作流,加速应用创新;

    持续更新的前沿端侧模型库:NexaModel Hub不断扩充,让最先进端侧小模型触手可及。

    5.结束语:从个人到产业—— 端侧AI想象力不再设限

    当部署不再是难题,当性能不再妥协,端侧AI的革命,正在每一个场景悄然发生:

    手机:离线助手,日程提醒、生活助理……

    PC:文件管理、个人知识库构建、Agent协作……

    汽车:车内AI助手,实时路况提醒,安全监测……

    IoT& 机器人:工厂巡检、缺陷检测……

    端侧AI的低成本、高隐私、低延迟特性,正在重构产品形态,催生全新商业模式。

    希望今天分享的NexaSDK能让每一位热爱端侧AI的人都能参与到端侧AI的浪潮中,无需复杂的工具链,消解沉重的技术壁垒,赋能每一位开发者,解锁端侧AI落地的无限可能!

    github项目:nexa-sdk(如果认为对您工作有帮助,欢迎为开源作者star)

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    edge浏览器如何关闭新闻推荐
    edge浏览器如何关闭新闻推荐

    可彻底关闭Edge新闻资讯流:一、新标签页点击齿轮→“自定义”→关“资讯源”;二、设置→“开始、主页和新建标签页”→关“显示信息提要”;三、设置→“隐私、搜索和服务”→关两个“个性化内容”开关;四、设置→“侧边栏”→关“发现”;五、通知权限中阻止news.microsoft.com等域名。 是不是每

    Edge浏览器如何关闭新闻资讯
    Edge浏览器如何关闭新闻资讯

    可关闭Edge新标签页资讯干扰:五个实用技巧 不知道你是不是也有过这样的体验:本想快速开个新标签页查点东西,结果目光立刻被铺天盖地的新闻、股票和推广链接给拽走了。这种资讯干扰,确实容易打断工作流,影响专注度。好在,我们有办法让Edge的新标签页回归简洁。下面这五个方法,从最简单的设置到彻底的根治,一

    小熊电器品质升级入围佛山百强三榜
    小熊电器品质升级入围佛山百强三榜

    9月27日,2025年佛山市企业家大会暨人才发展大会隆重举办。会上正式发布了2025年佛山骨干企业调研成果及佛山企业百强榜单。小熊电器凭借卓越的综合实力,一举斩获三大主榜荣誉——成功入选佛山企业100强、佛山制造业企业100强以及佛山民营企业100强。同时,在多个细分领域中表现亮眼,荣登佛山企业国际化TOP30与佛山企业科技创新TOP30子榜单。此次多项殊荣的获得,彰显了小熊电器在制造实力、经营管理、研发创新等关键维度上的领先地位,充分体现了其以“品质升级”为核心驱动力的高质量发展模式。稳居佛山百强阵营,

    荣耀手表5Pro健康功能全面升级,开启预定
    荣耀手表5Pro健康功能全面升级,开启预定

    2025年9月25日,荣耀官方微博宣布荣耀手表5Pro正式开启全渠道预约。与此同时,荣耀Magic8系列与荣耀MagicPad3Pro两款首发搭载第五代骁龙8至尊版芯片的“一门双至尊”性能旗舰新品也同步启动预约。此次发布的荣耀手表5Pro不仅带来了创新的无感血压监测功能,还在健康监测、AI运动指导等方面实现全面升级,并推出全新5款配色,外观设计与综合性能双双提升。官方在盲约阶段即释放多项预购好礼,诚意满满。聚焦健康管理与运动辅助,荣耀手表5Pro在延续前代防猝死筛查研究、ECG心电图检测、心脑血管风险评估

    小熊U租4小时部署上万台设备助考
    小熊U租4小时部署上万台设备助考

    近日,深圳市2025年度全国会计专业技术中级资格考试(简称“中级会计考试”)顺利落下帷幕。作为国家中小企业公共服务示范平台,小熊U租为深圳8个考点共245个考场提供了涵盖考场搭建、设备租赁、网络部署及技术驻场等环节的一站式综合考务服务,全面保障了本次考试的如期举行。自2021年起,这已是小熊U租连续第五年为该项国家级考试提供IT设备整体解决方案。据了解,此次考试中,小熊U租一次性投入上万台笔记本电脑,并在各考区配备专项驻场技术支持团队,累计保障数万名考生顺利完成考试。面对时间紧、任务重、技术要求高的挑战,

    海尔智家双11新品登榜天猫7大类
    海尔智家双11新品登榜天猫7大类

    走过17个年头的双·11,在2025年展现出全新的消费图景。AI智能科技产品成为本轮购物季中增长最为迅猛的品类之一,消费者对AI相关商品的接受度显著提升,推动智能设备从“尝鲜潮品”加速迈向“生活必需”,逐步成为撬动整体消费市场的新引擎。数据显示,AI音箱、智能家居套装等产品的销量同比增幅远超传统家电,印证了这一结构性转变。这一“智能普及化”的浪潮,在家电领域表现尤为突出——品牌新品的市场热度,直接映射出用户对智能化功能的真实认可。根据天猫双11新品排行榜,海尔智家旗下冰箱、空调、洗衣机、净水器等多个品类新

    余承东体验享界S9T电动门,豪华车新标杆
    余承东体验享界S9T电动门,豪华车新标杆

    近日,有网友在内蒙古大草原上意外捕捉到余承东亲自试驾鸿蒙智行全新车型——享界S9T的实车画面。未加伪装的真车首次亮相镜头,让这款被称作“高颜值、全场景、超智慧”的新车提前走入大众视野。如果说官方图片展现的是理想中的精致美感,那么这段路测视频则真实呈现了享界S9T在自然环境中的从容与优雅。从车门自动感应开启,到穿行于辽阔草原之间,它所承载的不仅是产品线的延伸,更是一次对智能出行理念的深度重塑。科技豪华全面升级,从“车门”到“视野”都在革新视频中最吸睛的一幕莫过于:余承东走近车辆时,享界S9T的电动门自动缓缓

    海尔智家APP获数字孪生3D智慧家庭认证
    海尔智家APP获数字孪生3D智慧家庭认证

    智慧家能被完整“搬”进手机吗?答案是肯定的。近日,海尔智家APP正式推出“3D智慧家庭视图”功能,将传统的平面操控界面升级为立体可视化的数字家庭空间。这一创新功能已成功通过中国家用电器研究院的权威评测,荣获“数字孪生3D智慧家庭”认证,成为行业内首个获得官方认可的3D全景视图技术,为智能家居体验树立了新标杆。技术突破:三大核心能力引领行业变革当前,尽管智能设备日益普及,但操作复杂、交互繁琐的问题愈发突出。随着家中接入的设备增多,用户往往需要在多个页面之间来回切换,操作路径冗长,反而降低了使用效率。“智能却

    中兴智慧家庭店落户漳州,开启智慧生活新体验
    中兴智慧家庭店落户漳州,开启智慧生活新体验

    12月23日,中兴通讯智慧家庭全国首家全品类旗舰店在福建漳州盛大启幕。该门店最大亮点在于深度融合家用分销、SMB(中小型商用)定制化方案与全光融合网络三大业务板块,可面向本地居民及中小企业提供覆盖全场景的一站式智慧服务与系统性解决方案。首店落地,标志着中兴智慧家庭生态建设正式迈入“聚焦线下真实场景、深化本地化服务”的新阶段。店内全面陈列中兴智慧家庭全系产品矩阵:既有面向家庭用户的Wi-Fi6、Wi-Fi7路由器、智能安防摄像头、智能照明设备等泛连接终端;也涵盖适配中小企业的AC+AP架构、SMB专用组

    PITAKA十周年:芳纶纤维定格自然瞬间
    PITAKA十周年:芳纶纤维定格自然瞬间

    专注于材料革新与人文温度的科技生活品牌PITAKA,近日迎来创立十周年重要节点,并携手英国当代艺术家GordonHunt,在深圳共同呈现十周年艺术联展——「觉知伏流GLINTSOFAWARENESS」。始于一根芳纶纤维纱线,PITAKA以经纬为笔、以织造为语,书写了一段关于理性与感性交织的品牌叙事。从重新定义手机保护壳的边界,到构建面向未来的智能交互生态,十年间,PITAKA持续深耕材料科学、精研制造工艺、锤炼设计哲学,将冰冷的科技产品升华为有呼吸、有情绪、有记忆的生活伙伴。2015年,PITAK

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。