当前位置:

首页 > 硬件相关 > 中昊芯英:直击智能体算力成本痛点 探索国产TPU无人区

中昊芯英:直击智能体算力成本痛点 探索国产TPU无人区

中昊芯英发布第二代TPU芯片“须臾”及泰则2.0智算平台,综合性能提升3倍,算力调用成本有望大幅下降。TPU架构专为大模型高并发张量计算优化,通过重构数据流调度和原生支持PD分离推理,使百万Token推理性价比提升超两倍。全面拥抱开源生态,已适配国产主流大模型,目标成为AI计算标准核心推动者。

本文目录

    AI智能体越来越能聊,长上下文对话带来的Token消耗简直是个天文数字,而且随之而来的是高昂的算力成本。这可是下游AI服务厂商的一个核心痛点。问题怎么破?关键还得看算力硬件本身。

    中昊芯英:直击智能体算力成本痛点 探索国产TPU无人区

    最近,中昊芯英发布了第二代自研TPU芯片“须臾”和配套的泰则2.0智算平台。官方数据很直接:综合性能比上一代提升了3倍,而这个提升的背后,一个直接的好处就是——算力调用的成本有望大幅下降。

    中昊芯英创始人兼CEO杨龚轶凡在接受采访时提到一个关键点:TPU架构天生就是为大模型的高并发张量计算优化定制的。这意味着,随着AI从实验室走向大规模应用,TPU的行业价值会越来越凸显,而它和GPU之间的差异化壁垒也会持续被放大。

    算力成本怎么才能降下来

    说到这,先看看他们之前的产品。中昊芯英的初代TPU芯片“刹那”在2024年就已经流片、量产,并且落地到了深圳联通、天津移动、太极股份这些运营商和政府项目里,覆盖了不少行业。经过三年的市场验证,这次推出的第二代“须臾”算是水到渠成。

    性能提升3倍,这里面至少有1.5倍是来自底层架构的升级。杨龚轶凡解释得很清楚:因为TPU架构本身就比通用的GPU能耗低,所以这次迭代的核心放在性能和芯片面积的平衡上,而不是单纯追求更低功耗。即便如此,须臾和同算力性能的传统芯片比,功耗还是低了50%。

    但现在的市场逻辑其实很简单:大家最关心的是硬件采购成本。优先把算力堆上去,让处理百万Token的硬件开销降下来,这个急迫性比单纯省电要更高。

    具体来看数据:单芯片混合精度浮点算力达到896 TFLOPS,8-bit推理算力是1792 TOPS,这完全是为了适配百万词元级别的高并发推理而设计的。显存和片间互联速率也都做了全面升级,目的就是减少多轮对话中上下文重复搬运带来的损耗。

    “现在最突出的痛点就是超长上下文推理需求爆发,市面上很多算力设备都撑不起百万Token级别的上下文窗口。”杨龚轶凡这句话直接点出了行业困境。须臾的应对方式是:重构脉动阵列数据流调度,大幅提升KV Cache的命中率,减少历史上下文的重复计算,并且在底层原生支持PD分离推理架构,目的就是拉高Token处理的性价比。

    客户那边的内测反馈显示,搭载须臾的泰则2.0整机,综合性能确实实现了三倍以上提升。但更关键的是,芯片的售价只是小幅上调,这么一算,百万Token推理的性价比提升了两倍以上。

    TPU的差异化壁垒到底在哪里

    中昊芯英从2018年归国创业起,就锁定了TPU赛道,打的这张牌从一开始就是差异化。

    杨龚轶凡分析得很透彻:通用GPU在国内当然也有落地价值,但从全球产业格局看,这条路已经很难再诞生碘伏性的技术玩家了。英伟达、AMD深耕GPU三十年,每年砸进去几十亿美元研发,硬件架构和CUDA软件栈的优化空间基本被榨干了。后面想迭代,只能靠更先进的制程或者存储器件来做小幅调整,底层根本没法革新。更不用说成熟的软件生态这个护城河了,后来者想弯道超车,几乎不可能。

    相比之下,TPU是天生的“专才”。它专门为大模型的高并发张量计算定制,更贴合大模型底层的计算核心。在Attention算子这块做数据流优化,数据复用率远高于通用GPU,而重复的内存读写开销则大大减少。泰则2.0整机就是基于这个原生张量计算架构打造的,不只是简单迭代架构,还在计算单元、片间通信、存储三个模块叠加了多层微架构创新。

    更值得关注的是,随着AI推理算力向专业化发展,Prefill-Decode(PD)分离正在成为新趋势。简单说,就是专门负责预填充计算的芯片和专门负责解码计算的芯片各司其职。而通用GPU为了兼顾全场景能力,在这种细分场景下优势自然会打折扣。这时候,TPU性价比的优势就会被进一步放大。看看全球市场,谷歌在持续扩产自研TPU,英伟达也收购了同类型的张量架构团队,方向已经很明确了。

    “TPU还有很多无人区等着我们去探索。”杨龚轶凡认为,和成熟的GPU相比,TPU赛道的发展周期还比较短——谷歌2015年才开始研发初代TPU。这意味着,在微架构层面还有大量的创新空间。中昊芯英的初代“刹那”已经落地了高复杂度的Chiplet芯粒分层集成方案,集成难度高于行业同类产品,并且完整打通了从流片、量产到规模化交付的全链路,为国内TPU产业积累了一套自主的工程化知识体系。

    软件生态这块硬骨头怎么啃

    当前国产芯片面临的最大挑战,其实不是单一的性能问题,而是软件生态的构建和完善。这需要时间沉淀。杨龚轶凡也坦承,英伟达花了数十年重金深耕生态,而他们仅用一年半就完成了基础软件栈搭建,后续的优化周期还很长。

    中昊芯英的策略是全面拥抱开源生态。他们适配了PyTorch等主流底层框架,开发者可以继续用原有的业务代码,不需要大规模地重写底层。团队会聚焦于国内头部大模型的专属算子调优;当企业迁移算力平台时,也会提供配套的定制算子优化,提升推理吞吐。

    目前,须臾已经完成了对MiniMax、智谱等国产主流大模型的适配。在很多落地场景里,单位Token的产出性价比已经超过了海外头部GPU。后续他们还会持续推进芯模联动调优,进一步放大成本优势。在集群层面,泰则2.0的单个超节点最高可以实现2048片须臾芯片直联,支持搭建万卡规模的算力池,并且原生兼容OCS(光电路交换)方案。批量部署后,集群多年综合运营成本的降幅会超过20%。

    对于产品研发和迭代方向,短期核心是攻坚大模型和智能体赛道,中长期的瞄准点是超大模型计算、视频算力、万卡超大规模集群。芯片侧会继续完善PD分离专用架构、优化超大模型的分布式集群互联、硬件原生加速低精度推理,以及扩容超大片上存储。

    面对国内算力软件碎片化的现状,杨龚轶凡判断,长期来看,国内底层软件框架会走向兼容互通。而中昊芯英的目标,是成为AI界的“x86”——对标CPU领域的X86架构,打造全行业通用的AI计算标准。用他的话来说就是:“未来即使涌现出更多TPU或者专用算力的创业企业,我们也不会搞恶性竞争,而是开放协同,共建TPU的软硬件标准,联合全产业链完善技术体系,做TPU架构普及和标准化的核心推动者。”

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    大咖论道 + 新政发布,6 月 30 日北京智能体论坛邀您赴约
    大咖论道 + 新政发布,6 月 30 日北京智能体论坛邀您赴约

    6月30日,北京将举办“汇智聚力・智启新程”智能体应用驱动产业跃迁论坛。论坛聚焦智能体研发、场景验证与商业闭环,旨在打通政策、技术、供需、资本全产业链交流,推动技术从实验室走向大规模商用,面向政企数字化负责人、AI从业者等开放报名。

    AgentCPM-Report 正式开源,8B 端侧写作智能体
    AgentCPM-Report 正式开源,8B 端侧写作智能体

    由清华大学、中国人民大学、面壁智能等联合开源的AgentCPM-Report智能体,仅8B参数即可本地部署,支持完全离线运行。通过“写作即推理”与多阶段训练两大技术,实现万字级深度分析报告生成,性能对标主流闭源系统,保障数据安全。

    如何给豆包添加智能体
    如何给豆包添加智能体

    先说说在豆包里添加智能体这件事。整个流程并不复杂,但有几个关键节点需要注意——尤其是第一次操作的时候,找对入口比什么都重要。 第一步,把豆包应用打开,确认你已经登录了自己的账号。这一步虽然基础,但要是没登录,后续所有操作都没法展开,算是个小小的前提条件。 进了主界面之后,别急着到处点。多数情况下,智

    AI提速抗流感药研发,钟南山:智能体元年,更有作为时代|讲堂视频
    AI提速抗流感药研发,钟南山:智能体元年,更有作为时代|讲堂视频

    中国工程院院士钟南山在2026年中思想演讲暨未来论坛上肯定“智能体元年”到来,指出AI飞跃式发展将加速抗流感等药物研发,带来医学创新机遇。拐点既是挑战,更是中短时期内更有作为的时代。

    AI提速抗流感药研发,钟南山:智能体元年,更有作为时代 讲堂视频
    AI提速抗流感药研发,钟南山:智能体元年,更有作为时代 讲堂视频

    2026年,AI开启智能体经济元年,国际格局同步形成强国俱乐部元年,两个元年叠加迎来时代拐点。钟南山院士肯定其意义,以医学领域创新为例,指出AI飞跃带来冲击,也是更有作为的时代,周期不长。

    三年投入10亿,光谷打造智能体之城
    三年投入10亿,光谷打造智能体之城

    人工智能正加速迈入“智能体时代”,这意味着我们正在进入一种“人机共生”的新型生产力形态。为了抢占这一轮AI产业竞争的制高点,武汉东湖高新区在6月29日正式发布了“光谷智能体引力计划”(以下简称“计划”)。未来三年,光谷将在政策、算力和基金等方面投入超过10亿元,全力打造一个智能体之城。具体来说,这个

    联想乐享超级智能体迎来升级
    联想乐享超级智能体迎来升级

    6月30日,联想乐享4.0版本上线,成为业内首个企业超级智能体。依托自研Harness运行层、自我进化机制和多场景Skill能力,实现从问答到复杂任务闭环执行的跨越。用户一句话即可完成咨询、推荐、下单、售后等全流程。目前月活跃用户700万,日均交互超100万次,累计销售额突破50亿元。

    三年投入超10亿元 武汉光谷打造智能体之城
    三年投入超10亿元 武汉光谷打造智能体之城

    武汉光谷发布“智能体引力计划”,未来三年投入超10亿元,依托科创供应链打造智能体之城,构建全周期支撑体系,年内算力力争突破10000P,已培育125款智能体产品,加速集聚企业生态。

    约翰斯·霍普金斯大学打造一个让智能体在游戏中持续成长的评测场
    约翰斯·霍普金斯大学打造一个让智能体在游戏中持续成长的评测场

    约翰斯·霍普金斯大学开发了AgentOdyssey评测框架,用于测试AI在文字冒险游戏中的“测试时持续学习”能力。框架可无限生成独特游戏,避免AI背诵。测试显示,长上下文GPT-5智能体表现最佳,但计算成本高;短期记忆对所有智能体均有显著帮助。

    【AI 智能运维平台】本周更新:内置AI巡检智能体,简单配置快速使用
    【AI 智能运维平台】本周更新:内置AI巡检智能体,简单配置快速使用

    BluekingLite本周更新:CMDB新增Postgres与Docker自动发现,支持模型分组内创建模型;监控策略配置升级,新增指标实时预览;日志平台Vector组件全系兼容;智能运维助手预置PostgresDB、Kubernetes集群及Web应用巡检能力,知识库训练流程重构,并修复通知与执行异常。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。