Stability AI让AI音乐创作快到"飞起"

这篇来自Stability AI研究团队的技术报告，于2026年5月18日发布在预印本平台arXiv，编号是arXiv:2605.17991v1，计算机科学·声音（cs.SD）这个分类下面。想深入研究的读者，直接拿这个编号去arXiv平台搜一下就行。

**一个让创作者头疼的老问题**

来，想象这样一个场景。你是一个独立游戏&开发者，正在给战斗场面配乐。脑子里有段旋律的感觉飘着——"快节奏、带电子元素、还得有点史诗感"。但你既不是作曲家，也请不起配乐师。于是你打开某个AI音乐生成工具，输了描述，点了生成按钮，然后……等了快一分钟，电脑风扇狂转，内存告急。最后出来一段时长固定的音乐，根本塞不进你那20秒的场景里。

这个场景，就是AI音乐生成领域长期困住创作者的三个核心痛点的缩影：太慢、太耗资源、还不灵活。Stability AI这次推出的Stable Audio 3，摆明了就是要解决这三个问题，而且交出来的答案，分量确实很足——用普通笔记本电脑的处理器就能跑，在顶级服务器显卡上生成一首长达6分20秒的高质量音乐，两秒内就能搞定，还能对着已有的音频做精确的局部修改。

**一、Stable Audio 3究竟是什么，为什么值得关注**

Stable Audio 3本质上就是一个"声音工厂"。你给它一段文字描述，它就能给你对应的音乐或音效。这个工厂由三个不同规模的机器组成，团队分别叫它们small、medium、large——就像洗衣机有迷你款、家用款、商用款，适用不同的场景和设备。

small大概有4.59亿个参数（你可以把参数想象成机器内部的调节旋钮，旋钮越多，能调出来的细节就越精细），最长能生成2分钟的音频。medium大约14亿个参数，最长能到6分20秒。large则有大约27亿个参数，同样支持6分20秒。在顶级的H200服务器显卡上，small只需要0.44秒，medium要1.31秒，large要1.80秒，就能完成一次生成。更让人兴奋的是，small和medium的模型权重是完全开源的，任何人都能下载。代码挂在GitHub的Stability-AI/stable-audio-3仓库里。

这三个模型下面还分了更细的专业分支：small-music专门生成器乐音乐，small-sfx专门生成音效。medium和large则是音乐和音效都管的全能选手。为啥small要分开训练呢？因为团队发现，参数有限的小模型里，音乐数据和音效数据会互相"打架"，就好比让同一个厨师同时做川菜和粤菜，味道难免串了，分开反而各自都做得更好。

所有模型都是在经过授权的商业音频和遵循知识共享协议的免费音频上训练的，这意味着没有版权上的坑。对于想把AI音乐用在商业项目里的创作者来说，这绝对是个定心丸。

**二、解决"生成短音频还要等半天"的难题：可变长度生成**

在Stable Audio 3之前，绝大多数扩散模型式的音频生成器都有个隐藏的浪费：不管你想要的音频有多短，它都得按最大长度来算。拿Stable Audio 3的前代产品Stable Audio 2.5说，它的最大长度是190秒。假如你只需要20秒的音乐，它仍然要在内部生成完整的190秒内容，然后默默丢掉那多余的170秒——就像你去便利店只买一瓶水，收银员却非给你一个能装一冰箱东西的大袋子，既浪费时间又浪费资源。

团队把这叫"固定长度生成"，而他们为Stable Audio 3开发的新方法叫"可变长度生成"。核心思路很简单：要多少就生成多少，计算量跟着实际长度走。为了让这个方法在训练阶段也能稳得住，他们设计了三个互相配合的技巧。

第一个技巧叫"可变长度注意力与掩码损失"。训练模型的时候，一批数据里往往有长有短，得用补零的方式把它们凑成一样长才能一起处理。但补上去的零没有信息，让模型去学着处理这些零是白费劲，还可能把它搞糊涂。团队的解决方案是给这些补位内容打个"标记"，让模型在计算时直接跳过，损失函数也只对真实的音频部分打分。

第二个技巧叫"按元素调整时间步偏移"。这里得简单说一下扩散模型的基本思路：这类模型的工作方式有点像从一团噪声里，一步一步去掉噪声，最后还原出有意义的东西。每一步叫一个"时间步"，时间步越大，噪声越多。问题在于，长序列的音频片段因为内部元素之间有关联，在同样的噪声水平下，它能保留的可恢复信息比短序列多。如果用同样的噪声进度表训练长短不同的音频，长音频相对就"欠噪化了"，模型没法充分学会处理高噪声情况下的长音频。团队的解决方案是：根据每段音频的实际长度，动态地把时间步往更高噪声的方向推——越长的音频，训练时就越往嘈杂的地方推，这样学习难度的平衡就保住了。具体的数学公式用的是"逻辑斯谛形式"的映射，让这个偏移量在最短序列到最长序列之间平滑过渡。

第三个技巧叫"静音增强"。团队在训练时会随机地在真实音频后面接一段静音，静音的长度从指数分布里随机抽取，平均下来大约4秒。这么做有两个目的：第一，防止模型把"我要生成的时长"和"实际音频信号就该这么长"死死绑定；第二，训练模型学会自然地结束，而不是在序列末尾突然就断了，留下一个生硬的截断感。

为了验证可变长度生成到底有没有用，团队还专门做了个对照实验：故意把Stable Audio 2.5"用错"——明明是在190秒条件下训练的，却强行让它生成20秒的短序列。结果两项关键指标都出现了明显下滑，证明固定长度的模型没法高效地处理可变长度。而Stable Audio 3的原生可变长度设计，在各个长度上表现都稳稳当当。

**三、Stable Audio 3的"声音压缩器"：语义声学自编码器**

扩散模型要做音频生成，有个基本前提：不能直接在原始音频波形上"去噪"，因为原始波形数据量太大了。一秒钟44100个采样点，一分钟就是两百多万个数据点，根本算不动。标准做法是先用一个"压缩器"把原始音频压缩成一个紧凑的"代号序列"，扩散模型就在这些代号上工作，生成完了，再用一个"解压器"把代号还原成真实的音频。

Stable Audio 3用的这个压缩器叫SAME，这是团队另一项相关研究的成果，在本文里当基础组件用。SAME的压缩比达到了4096倍——就是说，原本长度4096个采样点的音频，压缩后就变成1个"代号"。相比之下，同类工作通常只压缩1024到2048倍，SAME的压缩明显激进得多。正是这种激进压缩，让中型和小型模型能在消费级的GPU甚至MacBook的CPU上生成几分钟的长音频。

SAME是怎么做到这么高压缩比的呢？工作流程分两步。第一步是"打补丁"：把立体声44.1kHz的音频波形切成256个采样点一组的小块，每块作为一个基本单元，这一步实现了256倍压缩。第二步是一种叫"Transformer重采样块"的独特结构，再做16倍压缩，两步加起来就是4096倍。

这个Transformer重采样块的工作方式挺巧妙：把输入序列每两个元素编成一组，在每组里插入一个可学习的"占位符"，然后让整个序列通过多层Transformer处理。处理完以后，只保留那些占位符位置的输出，把原始元素的输出全部丢掉。这相当于让这些占位符在学习过程中"吸收"了附近原始元素的关键信息，然后作为压缩后的代表输出。解压的时候，这个过程反过来：每个压缩代号配上一批新的占位符，处理后保留占位符输出，实现扩张。

压缩器输出的代号序列，对后续扩散模型的训练质量有直接影响。SAME的一个核心设计目标，就是让这些代号不只包含"声音是什么"（声学信息），还要包含"声音在说什么"（语义信息）。为了实现这个目标，SAME在训练时同时接受了五种不同性质的损失函数的约束。

第一种是多分辨率频谱重建损失，在七种不同的FFT分辨率下分别计算频谱对比度、对数幅度L1距离和瞬时频率相位误差，确保还原出的声音在各个细节尺度上都足够精确。为了处理立体声，这种损失分别在"和声"和"差音"两种表示形式上独立计算。第二种是对抗损失，通过一个判别器来逼迫生成质量更接近真实。第三种是扩散对齐损失，直接用一个小型扩散Transformer在SAME的潜空间上训练，梯度反流回编码器，推动编码器学习出"对扩散模型友好"的潜空间几何结构。第四种是语义回归损失，用两个轻量线性回归器分别预测音调结构和立体声宽度，强迫潜代号保留这些高层语义特征。第五种是对比潜空间对齐损失，用一个判别器来判断"潜代号序列、小波音频特征、文字描述"三者是不是来自同一段音频，从而推动潜代号同时与音频内容和文字描述对齐。

实际部署的时候，small用的是参数较少的SAME-S版本，这个版本专门为CPU推理做了轻量化优化；medium和large则用参数更多的SAME-L版本，保留了完整的表达能力。两个版本的压缩比和代号维度完全一样，保持了架构的统一性。SAME的编码器和解码器在扩散模型训练期间保持冻结，不再更新参数。

**四、"声音工厂"的核心机器：扩散Transformer**

有了SAME提供的紧凑代号序列，接下来扩散Transformer就在这些代号上进行生成。这个Transformer是整个系统的大脑，三种规模模型的区别主要也就在这个大脑的大小上：small的Transformer有20层，每层1024维，16个注意力头；medium有24层，1536维，24头；large有26层，2048维，32头。

把这个Transformer拆开看，它接受信息的方式有三个通道，就像一个调音台上的三个推子。

第一个推子是"文字理解通道"。用户输入的文字描述先由一个文字编码器处理，把文字转化成256个768维的向量序列。短于256个词的提示会用专门的填充向量补全，长于256个词的则会被截断。文字向量和时长向量拼在一起，通过"交叉注意力"机制注入每个Transformer层，让模型随时记得"我要生成什么"。

第二个推子是"全局时间步通道"。扩散模型要工作时，得知道"现在处于去噪的哪个阶段"，这个信息叫时间步。时间步和时长信息都被编码成傅里叶特征，再各自经过一个MLP映射，然后相加，通过"自适应层归一化"机制来调节每个Transformer层内部的计算行为。这里用的是一种变体：条件向量在所有层之间共享，每层只独立学习几个偏置项，大幅减少了条件化需要的参数量。

第三个推子是"局部编辑通道"，专门用于实现后面要讲的"音频修复"功能。它把参考音频和一个二值掩码拼接起来，通过一个两层MLP投影，逐帧加到每个Transformer层的中间状态。MLP的最后一层权重初始化为零，这样在训练开始时这个通道对模型没有影响，可以平滑地从没有编辑功能的基础模型微调过来。

除了这三个条件化通道，Transformer还有两个很值得说的设计细节。一个是"记忆嵌入"：在序列输入之前，会在前面拼上64个可学习的"记忆向量"，让序列里的每个位置都能通过注意力机制访问这64个全局上下文槽位，相当于给所有声音帧共享了一块黑板。处理完了，这64个记忆向量就被丢掉，不参与最终输出。另一个是"差分注意力"：medium和large用了一种改进的注意力机制，用两组独立的Q、K矩阵分别算两个注意力权重图，然后把二者相减，从而消除两个图共有的"噪声"模式，让注意力更专注于真正重要的关联。small因为参数预算有限，用的是普通的多头注意力。

在位置编码方面，Transformer对每个注意力头只旋转前32个维度（部分RoPE），其余维度不携带位置信息，这是为了让模型在处理不同长度序列时保持灵活性。此外，Q和K在进入注意力计算前都会经过RMSNorm归一化，防止注意力分数变得太大。

**五、三阶段训练：从"打草稿"到"专业润色"**

Stable Audio 3的训练分成三个相互衔接的阶段，拿"写文章"打比方：第一阶段像是打草稿，把主要内容和大纲搭起来；第二阶段像是把草稿精炼，用更少的语言表达同样的意思；第三阶段像是找专业编辑润色，让文章既精炼又生动。

**流匹配预训练**

第一阶段用的技术叫"流匹配"。直觉上讲，扩散模型的工作就是在"纯噪声"和"干净音频代号"之间画一条路，每次去噪就走一小步。流匹配给出了这条路的一个特别简洁的定义：从噪声和干净数据之间做线性插值，路径上的"速度方向"始终是个常数。模型要学的，就是给定任意时刻的状态，预测出这个速度方向。

为了让这条路尽量短而直，团队引入了"最小批量最优传输配对"技术：在每个训练批次里，用Sinkhorn算法快速求解一个近似最优分配问题，把数据样本和噪声样本重新配对，让每对之间的距离之和最小。这样配出来的路更短、交叉更少，模型学起来更容易，推理时也走得更准。

每个训练步里，还会随机给数据生成一个二值掩码，按"全掩码、随机段掩码、因果掩码"三种类型混合。掩码信息和被掩码后的潜代号通过"局部加法条件化"通道注入模型，损失函数则分别对"待生成区域"和"保留区域"的预测误差独立平均，再相加。

为了允许无条件生成，训练时以10%的概率随机把文字和时长的条件向量替换为零向量，模拟"没有条件输入"的场景。

**蒸馏预热**

完成第一阶段后，模型生成质量不错，但推理时需要50到100步，每步都要完整过一遍Transformer，速度很慢。第二阶段"蒸馏预热"的目标，就是把模型改造成"一步就能给出答案"的模式。

具体做法是：冻结原来的预训练模型当"教师"，用一份同样架构的模型初始化"学生"。教师用15步DPM++采样器从随机噪声生成一条完整轨迹，缓存中间状态和最终去噪结果。每4个训练迭代刷新一次缓存，平衡计算开销和数据多样性。学生的任务是：给定轨迹上的任意一个中间状态，直接预测终点。损失函数是学生预测的和教师的之间的均方误差。学生输出的是速度，通过一步欧拉公式转换为对终点的估计。

这个阶段大约进行10000步训练，把多步的ODE求解压缩成一步映射。但均方误差损失有个众所周知的问题：它会让模型倾向于预测条件期望，也就是给出所有可能答案的"平均版本"，导致生成结果模糊、缺乏细节，就像多次曝光叠加的照片。这就需要有第三阶段了。

**对抗后训练**

第三阶段引入了一个判别器，把整个训练变成"生成器对抗判别器"的博弈，从而逼迫模型从"预测平均答案"转向"从真实数据分布中采样"。这个阶段完全丢掉了教师模型，直接用真实数据做标杆，让模型有可能超越教师的质量上限。

判别器的设计很有特色：它复用了和生成器一样的Transformer架构，从流匹配预训练的检查点初始化，因此一开始就带着丰富的语义表示能力。真实音频和生成器输出都会被重新加噪到一个独立的随机噪声水平。两者共享相同的新噪声向量，这样在相对论比较时，加入的噪声分量相互抵消，判别器判断的是两者本身的质量差异，而非噪声差异。判别器从Transformer第14层提取特征，经过一个由输入卷积、残差块和最终评分卷积组成的头部结构，输出每帧的"真实度分数"。

训练用了三种损失。"相对论对抗损失"让生成器努力让"生成样本的真实度分数"超过"配对真实样本的真实度分数"，判别器则反过来努力让真实样本分数更高。这种配对之所以有效，是因为配对的真实样本和生成样本用的是同一个文字提示，相关性极强，提供了比随机配对更强的训练信号。"对比损失"专门用于训练判别器：把批次内的提示循环错位，让判别器同时区分"正确配对的音频-文字"和"错位配对的音频-文字"，防止判别器只关注音频本身的质量而忽略文字对齐。"CLAP损失"是专为生成器设计的文字对齐损失：用一个冻结的CLAP模型计算生成结果和文字提示之间的嵌入距离，采用单位超球面上的平方测地距离。这个损失作为语义锚点，防止对抗训练中的模式崩溃，确保生成器始终对提示保持响应。

对抗后训练还有一个重要的架构选择：保留了流匹配的速度参数化形式，通过一步欧拉公式恢复最终结果，而不是让网络直接输出。这样做的好处是：在零噪声时，模型被迫输出原始数据，提供了一个自然的边界约束；随着噪声水平增大，网络影响力线性增大，避免在低噪声区域做出过大修正；同时保持了与流匹配预训练权重的连续性，让训练从一个良好的初始状态出发。

**六、推理时的节拍：Ping-Pong采样**

经过对抗后训练，模型具备了"从任意噪声水平一步直接给出结果"的能力。但实验表明，从纯噪声直接一步生成干净音频的效果并不好，因为这一步跨度太大、误差积累太多。团队的解决方案是"Ping-Pong采样"——字面意思就像乒乓球一样来回弹跳。

具体流程是：从纯噪声出发，先"去噪"得到一个估计结果；然后不直接用这个估计，而是把它和一个全新的随机噪声按一个较低的噪声水平重新混合，得到一个新的状态；再从这个新状态"去噪"得到新的估计；反复做，每次重新混合的噪声水平都比上次低，直到最终结果。

这个过程有一个标准ODE求解器没有的优势：自我纠错能力。如果前几步估计不准，重新混合噪声后产生的新状态已经融入了这个不完美估计，下一步去噪就会自然地修正这个偏差。相比之下，标准ODE求解器一旦走错，后续所有步骤都从错误位置出发，误差只会越滚越大。

时间步的安排不是线性均匀分布的，而是在对数信噪比空间内均匀分布。因为人耳对声音质量的感知大致和这个比例变化相关，这样安排能让每步处理的感知难度差不多。具体地，选取9个节点，实验发现8步Ping-Pong采样是效率和质量的最佳平衡点。

推理时不需要"分类器自由引导"——这个技巧通常用来提升文字对齐，但需要双倍的计算量。因为蒸馏预热阶段的教师用了它来生成轨迹，学生已经把带它的质量提升内化了；对抗后训练的CLAP损失又进一步强化了文字对齐。省掉了它，每步只需要一次前向传播，在边缘设备上尤其省资源。

推理时的序列长度也有专门的设计：对于用户请求的d秒音频，实际分配的序列长度多算了6秒的静音缓冲区。这6秒静音有两个作用：防止音频在序列末端产生突然截断的边界伪影，并为解码器提供淡出缓冲。生成完成后，截取前d秒输出，丢弃缓冲区。

**七、实验结果：数字背后的故事**

团队用了两个评估数据集来测试所有模型。一个是"歌曲描述数据集"，包含424对120秒器乐音乐和人工描述标注，专门测器乐音乐；另一个是BBC音效数据集，包含多个时长子集，专门测音效。评估指标主要有两个：FAD，越低越好，衡量生成音频和真实音频的分布相似度；CLAP分数，越高越好，衡量生成内容和文字描述的语义匹配。此外还做了有14个人参与的主观聆听测试，从总体质量、文字相关性和音乐性三个维度打分。

在器乐音乐生成方面，以120秒为基准，medium的FAD是0.107，large是0.101，都和内部基准持平或略好，而且主观音乐性评分明显高于Stable Audio 2.5。对比开源竞品，差距就更明显了。在推理速度上，Stable Audio 3生成120秒音乐不到1秒，而竞品需要好几秒。

在音效生成方面，以5秒为基准，large的FAD是0.358，medium是0.369，都优于所有开源竞品。主观质量评分方面，large和medium也排在前列。有个竞品虽然主观质量还行，但FAD偏高，团队分析原因是它生成的音频带宽有限。

在可变长度生成的稳定性方面，Stable Audio 3各模型在从20秒到380秒的不同长度上都保持了比较一致的表现，而Stable Audio 2.5一旦偏离训练长度就明显退化，验证了原生可变长度设计的优越性。在极短时表现略差，团队分析是因为训练集里的短音频大多是循环片段，和评估数据集里的完整曲子有分布差异；在极长时CLAP分数下降，是因为训练集里的超长音频大多是氛围音乐或古典音乐，导致模型在生成很长时间时倾向于漂到这些风格上。

关于对抗后训练的效果，将后训练模型和基础模型对比：器乐音乐方面，medium后训练的FAD和CLAP都有提升，推理时间也从3.87秒降到0.78秒，质量和速度双双提升。单步生成虽然极快，但质量明显下滑，这说明8步是个必要的折中。

**八、编辑功能：给声音动手术**

Stable Audio 3的音频编辑能力通过"内绘"机制实现，这个名字借自图像编辑领域，意思是"在指定区域内重新绘制"。对于音频来说，就是指定一段或多段需要修改的区域，让模型在保留其余部分不变的同时，重新生成这些区域的内容。

用法是：提供原始音频和一个二值掩码（1表示保留，0表示重新生成），再加上文字提示描述目标效果。掩码和被遮蔽的潜代号序列一起通过局部加法条件化通道注入Transformer，模型在扩散过程中自然地生成和上下文衔接的新内容。训练时三种掩码类型的混合，确保了模型对三种编辑场景都有充分的学习。

团队在器乐音乐和音效两类数据上分别评估了三种编辑场景：单段内绘、双段内绘和延续。在器乐音乐的单段内绘中，large的全音频FAD只比原始音频略高一点，说明修复后的音频和原始参考音频高度相近。双段内绘的数据和单段接近，说明模型处理两个独立掩码区域和一个区域一样得心应手。延续场景的FAD相对较高，这是因为延续的生成区域缺少后端上下文约束，生成内容与原始录音的分布偏差更大，是客观存在的技术局限。

**九、在你的设备上运行：内存与速度数据**

对于关心"这个能不能在我电脑上跑"的读者，团队详细测试了不同设备和不同加速方式下的实际表现。

在H200服务器显卡上，small生成120秒音频的峰值显存用量是2.40GB，medium是6.49GB，large是9.01GB。生成时间方面，small只需0.45秒，medium需0.78秒，large需0.81秒。用TensorRT加速，速度还能再上一个台阶：medium只需0.13秒，large只需0.19秒。

在MacBook Pro M4上，CPU专属运行模式下，small生成120秒需要5.92秒；切换到CoreML加速模式（同时利用CPU、GPU和神经引擎），只需3.09秒。虽然比H200慢很多，但能在本地完全离线地生成高质量音乐，对于隐私敏感或者没有稳定网络的用户来说，这个意义非常大。

**说到底，这意味着什么**

Stable Audio 3把高质量AI音乐生成真正带到了普通创作者触手可及的地方。对于独立游戏&开发者、播客制作人、短视频创作者，乃至中学生做课堂展示的配乐，一台普通笔记本就够了；不满意某段效果，直接用内绘功能替换那几秒，不需要重新生成整首曲子；生成短音效也不会因为要跑满最长序列而浪费时间和电量。

当然，这项研究也有清晰的局限：超长音频在文字提示遵从度上还有下降；训练数据中某些时长段的音频偏向特定风格，让模型在对应时长上产生了偏好；延续性编辑在没有后端上下文约束时仍然存在漂移风险。这些都是后续研究可以继续深挖的方向。

有兴趣进一步探索的读者，可以直接通过arXiv编号2605.17991查阅完整技术报告，也可以直接访问GitHub上的两个仓库，下载模型权重和推理代码亲自体验。

**Q&A**

Q1：Stable Audio 3的small、medium、large三个模型有什么区别，普通人该选哪个？

A：三个模型的主要区别在于参数规模和最大生成时长。small大约4.59亿参数，最长2分钟，峰值显存2.4GB，MacBook也能跑；medium大约14亿参数，最长6分20秒，峰值显存6.5GB，需要8GB以上显存的消费级显卡；large大约27亿参数，最长同样6分20秒，需要约9GB显存。普通创作者用medium基本够了，配置有限就选small，large主要是研究用途和追求最高质量的选择。目前small和medium的权重已经开源，large暂时没有开放下载。

Q2：Ping-Pong采样和普通扩散模型的去噪步骤有什么本质区别？

A：普通扩散模型的ODE求解器是"单向推进"——每步从当前状态往前走一小步，一旦走偏就会持续偏下去，误差没法纠正。Ping-Pong采样则是"去噪后重新加噪"的交替模式：每步先估计干净结果，再把这个估计和全新的随机噪声按较低噪声水平混合，下一步从这个新状态出发。这意味着前几步的估计偏差会在重新加噪时被稀释，后续步骤有机会纠正，整体对早期误差更有容忍度。Stable Audio 3用8步Ping-Pong代替了基础模型的50步ODE，速度提升了大约6倍，质量还更好了。

Q3：Stable Audio 3的音频内绘功能可以用来做哪些实际的创作任务？

A：音频内绘支持三类操作。单段内绘可以替换一首曲子里某个不满意的片段，比如把中间一段吉他solo换成钢琴版本，同时保持前后上下文的连贯。双段内绘同时替换两个独立区域，比如修改开头和结尾的过渡片段。延续则是给定一段现有录音的开头，让模型按照提示自然延伸后续内容，适合给未完成的小样续写，或者把短音效扩展成长版本。这三种能力在训练时通过不同比例的掩码类型同时学习，不需要单独微调模型。