当前位置:

首页 > 硬件相关 > 英伟达开源TwoTower模型:保留98.7%质量,AI生成提速2.42倍

英伟达开源TwoTower模型:保留98.7%质量,AI生成提速2.42倍

英伟达开源60B参数双塔扩散语言模型Nemotron-Labs-TwoTower,采用冻结的自回归塔与可训练的去噪塔协同架构,每个塔激活3B参数并调度128个专家。综合测试结果显示,该模型保留原模型98.7%质量,生成吞吐量提升2.42倍。

本文目录

    昨天,英伟达悄悄扔出一篇博文——他们发布了一款名为Nemotron-Labs-TwoTower的新模型,核心目标是解决大模型生成Token时那个绕不开的“速度墙”。简单来说,这是一款基于预训练自回归骨干网络的离散扩散语言模型,专为提速而生。


    先说开源:模型权重已在Huggingface上以开源形式发布,授权协议用的是NVIDIA Nemotron Open Model License,开发者可以直接拿去用。

    参数方面,总规模】60B,采用双塔架构——两个塔各占30B参数。具体拆开看,一个叫自回归塔(AR/context Tower),另一个叫扩散/降噪塔,每个塔都激活3B模型,并且在128个可路由专家之间调度。这个设计思路很有意思:传统的扩散语言模型把所有任务混在一起,TwoTower则把它们拆分到两个独立的神经网络“塔”里。

    其中一个塔(上下文塔)是冻结的,专门负责维护文本的自回归上下文;另一个塔(去噪器塔)则负责训练,对噪声块进行去噪。两个塔通过逐层交叉注意力连接协作。这样的分离设计,说白了就是让专业的人干专业的事——一个塔专注记忆上下文,另一个塔专注“擦除噪声”,互不干扰。

    性能数据最能说明问题。英伟达给出的综合基准测试结果显示,双塔架构保留了原模型98.7%的质量表现,但实际运行时的吞吐量提升了2.42倍。这意味着你几乎没丢掉多少精度,却换来了两倍多的生成速度,典型的“既要又要还能给”。下面是具体的测试对比结果:

    任务Nemotron-3-Nano-30B-A3B (AR)Nemotron-Labs-TwoTower (diffusion)
    MMLU (5-shot, acc)78.5678.24
    MMLU-Pro (5-shot, CoT EM)62.5960.93
    ARC-Challenge (25-shot, acc_norm)91.7292.66
    WinoGrande (5-shot, acc)76.0976.09
    RACE (0-shot, acc)88.9088.90
    HumanEval (0-shot)79.2775.58
    MBPP-Sanitized (3-shot)74.7174.28
    GSM8K (8-shot, acc)92.4990.14
    MATH-500 (4-shot)84.4080.60
    MMLU Global Lite (5-shot)73.9773.94
    MGSM (8-shot, a vg acc)80.8080.40
    Quality retained100%98.7%
    Generation throughput (× AR)1.0×2.42×

    从表中可以看到,在数学推理(MATH-500、GSM8K)上有所下降,但在ARC-Challenge这种常识推理上反而还涨了一点。整体权衡下来,用不到2%的精度代价换2.42倍的速度提升,对于实际部署场景来说,这笔账怎么算都划算。当然,具体效果还得看落地时怎么调优,至少从架构思路和创新性上看,这个TwoTower值得关注。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    华硕 2026 款 TUF Gaming A16/F16/A18 游戏本发布,可选酷睿 Ultra 9 290HX Plus / 锐龙 9 8940HX 处理器
    华硕 2026 款 TUF Gaming A16/F16/A18 游戏本发布,可选酷睿 Ultra 9 290HX Plus / 锐龙 9 8940HX 处理器

    华硕2026款TUF Gaming系列游戏本海外亮相,RTX 5070 Ti显卡登场 3月17日,华硕在海外市场正式发布了2026款TUF Gaming系列游戏本,包括A16、F16和A18三款型号。这一系列专为电竞玩家打造,其中最引人注目的当属最高可选的英伟达RTX 5070 Ti显卡配置。 下面

    英伟达推出NVHBM:定制HBM带宽提升30%并扩展NVLink Fusion生态
    英伟达推出NVHBM:定制HBM带宽提升30%并扩展NVLink Fusion生态

    英伟达发布定制HBM技术NVHBM,通过集成内存控制器至HBM基础裸片,实现带宽较HBM4E提升30%、功耗降低15%,并释放主芯片25%空间。亚马逊Annapurna Labs为首个合作伙伴,该技术旨在通过标准化方案加速定制AI芯片开发,而非取代通用HBM。

    英伟达 RTX PRO 6000 Blackwell 全线涨价 较去年首发价高出 55%
    英伟达 RTX PRO 6000 Blackwell 全线涨价 较去年首发价高出 55%

    英伟达RTXPRO6000Blackwell官方标价升至13250美元,较首发价8565美元上涨55%。受显存市场紧绷及AI需求升温影响,专业显卡价格持续走高,折射出高端GPU市场供需格局演变。

    英伟达未发布的 RTX 2080 Ti SUPER 显卡首次曝光:拥有 4608 个 CUDA 核心与 12GB 显存 规格直逼 Titan RTX
    英伟达未发布的 RTX 2080 Ti SUPER 显卡首次曝光:拥有 4608 个 CUDA 核心与 12GB 显存 规格直逼 Titan RTX

    英伟达未发布的RTX2080TiSUPER工程样品现身eBay,配备4608个CUDA核心、12GB显存及384-bit位宽,规格接近TitanRTX。该卡因性能与定价内斗被取消,需在测试模式下修改驱动方可使用。

    高管将访问英伟达总部讨论实体AI  LG旗下股票大涨
    高管将访问英伟达总部讨论实体AI LG旗下股票大涨

    近日,LG旗下多家子公司高管将集体访问英伟达总部,探讨实体人工智能与机器人领域合作。此前董事长已与黄仁勋会面。此消息推动LG电子、LGCNS等公司股价出现上涨。

    英伟达统治超算榜单:TOP500占81%
    英伟达统治超算榜单:TOP500占81%

    英伟达在TOP500超算中占据81%份额,新上榜系统近90%采用其技术。AI训练吞吐量是其他平台总和两倍以上,推理吞吐量近三倍。Green500前八名均搭载英伟达GPU,GraceCPU系统增至26台,欧洲正开发35台英伟达AI超算。

    UOS系统英伟达显卡驱动怎么安装
    UOS系统英伟达显卡驱动怎么安装

    在统信UOS系统中,若要安装NVIDIA显卡驱动,有以下三种方式:一是利用图形化驱动管理器,一键启用即可自动禁用nouveau并重启lightdm;二是通过APT最新源来安装适配驱动,在此之前需先清除残留,再执行sudo apt install nvidia-driver命令;三是手动安装.run驱

    339.99 美元:技嘉 RTX 3060 12GB 显卡在美国重新上架 比 2021 年首发贵 10 美元
    339.99 美元:技嘉 RTX 3060 12GB 显卡在美国重新上架 比 2021 年首发贵 10 美元

    技嘉RTX306012GB显卡在美重新上架,售价339.99美元,比首发价贵10美元。WindforceRev2.0版参数不变。华硕也在欧洲铺货,两家同步动作引发RTX50系列供货困境猜测。

    英伟达被曝不提供免费零食咖啡 黄仁勋崇尚节俭
    英伟达被曝不提供免费零食咖啡 黄仁勋崇尚节俭

    英伟达不提供免费零食咖啡,公司餐厅仅部分补贴,普通咖啡免费但特饮自费。没有乒乓球桌、健身房等休闲设施,副总裁出差坐经济舱且无专属助理。创始人黄仁勋崇尚节俭,倡导专注业务。这种务实文化助力公司市值屡创新高。

    Valar 利用先进反应堆为英伟达 Blackwell 芯片提供核能支持
    Valar 利用先进反应堆为英伟达 Blackwell 芯片提供核能支持

    美国核能初创企业瓦拉原子能公司成功利用先进反应堆为英伟达Blackwell芯片供电,这是美国下一代反应堆首次实现。双方计划在犹他州共建小型数据中心,验证AI设施通过核能与闭环液冷技术实现自给自足。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。