当前位置:

首页 > 硬件相关 > DeepSeek又变强了:发布DSpark框架 推理速度提升超60%

DeepSeek又变强了:发布DSpark框架 推理速度提升超60%

DeepSeek与北京大学联合发布DSpark框架,针对推测解码方向提出半自回归生成与置信度调度验证两项机制。在保持生成文本无损前提下,单用户推理速度较主流方案提升60%至85%,已部署于DeepSeek-V4系列线上服务,并开源模型检查点与训练框架DeepSpec。

本文目录

    6月27日,DeepSeek团队联合北京大学发布了一篇名为《DSpark》的研究论文。这项研究聚焦于推测解码(speculative decoding)方向,目标很明确——加速大模型推理。从实测数据来看,效果相当突出:在保持生成文本分布完全无损(Lossless)的前提下,单用户生成速度较现有主流方案最高提升85%。

    目前,这个框架已经被部署在DeepSeek-V4-Flash和DeepSeek-V4-Pro的真实线上流量中,直接服务于大语言模型(LLM)的推理加速。另外值得注意的是,DeepSeek的创始人梁文锋也出现在了论文作者名单里。

    大模型推理的“速度焦虑”

    想要理解DSpark的价值,得先明白大模型推理为什么慢。主流语言模型生成文本时,采用的基本是autoregressive(自回归)方式——每生成一个新token,都需要一次完整的前向传播。推理延迟会随着输出长度线性增长。这也是为什么大模型回复总让人感觉“卡顿”或“慢半拍”。

    在实时对话、多轮智能体工作流这类高交互场景下,生成速度直接影响用户体验,同样也决定着GPU利用率。那有没有办法破局?当然有,推测解码(Speculative Decoding)就是一条不错的路径。

    大致的思路是:用一个轻量级的草稿模型快速生成若干候选token,然后再由大模型做批量验证。但现有方案各有各的短板。自回归草稿模型是逐token串行生成,质量虽然高,但生成延迟同样随候选长度线性增长;而并行草稿模型虽然能一次产出全部候选,但因为token之间缺少依赖关系,后续候选很容易被大量拒绝,白白浪费计算资源。

    DSpark的两把“手术刀”

    针对这两个核心瓶颈,DSpark提出了两项互补机制。

    第一个是“半自回归生成”架构(Semi-Autoregressive Generation)。

    具体来说,DSpark在并行生成主干的基础上,引入了一个轻量级的顺序模块,用来逐token注入前缀依赖信息。可以这么理解:前面用并行方式快速铺开候选,后面再用一个很轻的顺序模块检查相邻token之间的衔接关系。

    这个模块提供了两种实现方式——一种是仅依赖前一个token的马尔可夫头,另一种是通过循环状态累积完整前缀信息的RNN头。实验结果表明,只需要两层Transformer深度的DSpark,就能在所有测试领域上超过五层DFlash的接受长度。

    第二个是置信度调度验证机制。传统方案的做法是对整段候选无差别校验,结果在高负载时大量算力都被浪费在了那些极有可能被拒绝的尾部token上。

    而置信度调度验证机制则可以根据不同请求的成功概率与系统负载,自适应地调整验证长度,从而减少无效计算开销。在离线测试中,这个方法显著提升了可接受生成长度;而在DeepSeek-V4线上系统中,相比基线模型,推理速度提升了约60%–85%,并且有效降低了高并发下的吞吐损耗。

    具体到实现,DSpark会在每个候选位置输出一个置信度分数,用来预测该token的存活概率。一个硬件感知的前缀调度器会根据实时引擎吞吐量,为每个请求动态决定最优验证长度,优先把算力分配给预期回报最高的token。

    另外,这篇论文还同时开源了模型检查点与训练框架DeepSpec,以便推动社区进一步研究。DeepSpec是一个面向speculative decoding训练的代码库,里面包含了Eagle3、DFlash和DSpark的实现。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    QQ影音播放高清视频卡顿怎么办
    QQ影音播放高清视频卡顿怎么办

    本地文件卡是解码问题:开硬件加速、关画面增强、电源设计高性能;4K 高码率对老机器仍有硬门槛。

    QQ影音如何开启硬件加速提升播放流畅度
    QQ影音如何开启硬件加速提升播放流畅度

    设置 → 播放或图像设置里勾选硬件加速,重新打开视频。开启后看 CPU 降、GPU 视频解码升才算生效;花屏就关掉或更新驱动。

    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498预发布说明
    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498预发布说明

    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498 均为预发布构建,分别涉及服务器、语音模型及特定后端;适用范围须按模型、硬件和请求条件区分。

    MiniMax-H3-Image与DiffSynth-Studio 2.2.2文档配方的硬件条件怎样区分
    MiniMax-H3-Image与DiffSynth-Studio 2.2.2文档配方的硬件条件怎样区分

    MiniMax-H3-Image新增DiffSynth-Studio文档推荐后,配置选择应围绕具体推理配方和独立训练流程展开。文档中的24GB GPU方案分别配合32GB或8GB主机RAM,所用量化、CPU或磁盘卸载方式不同;新增文档入口本身没有发布模型新权重或标注一个新的框架版本。

    Ollama v0.40.17-rc0更新该看哪些条件,MLX、Vulkan与CLI改进如何对应
    Ollama v0.40.17-rc0更新该看哪些条件,MLX、Vulkan与CLI改进如何对应

    识别Ollama完整rc0预发布标签,区分MLX并发、Vulkan集成显卡mmap、llama.cpp b12257与CLI集成更新边界。

    宏基笔记本开机没反应怎么办?电源灯亮 黑屏及不通电的解决方法
    宏基笔记本开机没反应怎么办?电源灯亮 黑屏及不通电的解决方法

    宏基笔记本遇到开机没反应、电源灯亮但屏幕黑屏,或者按下电源键完全无反应的情况该怎么办?本文通过界面与状态指示灯的观察,分步骤介绍静电释放、内存重插及外接显示器测试等实用方法,助你自行解决常见启动故障。

    hp笔记本开机没反应电源键和大小写键亮怎么回事
    hp笔记本开机没反应电源键和大小写键亮怎么回事

    惠普笔记本开机时电源键和大小写锁定键亮起,但屏幕无反应?这通常是嵌入式控制器(EC)逻辑错误或静电干扰所致。本文详解如何通过移除外设、长按电源键进行硬件复位来恢复正常启动,并提供BIOS恢复及进一步硬件检测的建议。

    电脑黑屏显卡风扇狂转怎么回事?原因与解决方法
    电脑黑屏显卡风扇狂转怎么回事?原因与解决方法

    遇到电脑黑屏伴随显卡风扇狂转?这往往是显卡过热保护、供电不足或驱动崩溃的信号。本文详解如何通过观察指示灯、重置驱动、检查线缆及清理灰尘来解决该问题,避免盲目更换硬件。

    惠普笔记本开机没反应怎么办?电源灯不亮 闪烁及黑屏解决方法
    惠普笔记本开机没反应怎么办?电源灯不亮 闪烁及黑屏解决方法

    惠普笔记本无法开机、电源灯异常或屏幕黑屏?本文详解通过移除外设、执行硬重置(静电释放)、检查适配器及内存重插等步骤,快速定位并解决常见启动故障。

    笔记本开机没反应充电没反应怎么回事 如何解决
    笔记本开机没反应充电没反应怎么回事 如何解决

    笔记本电脑突然黑屏,按电源键无反应,连接充电器指示灯也不亮?别急着送修。本教程通过释放静电、检查适配器、重置EC等实操步骤,帮你解决笔记本“假死”问题。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。