当前位置:

首页 > 硬件相关 > 香港中文大学(深圳)与字节联手,造出能"自由调速"的语音大模型

香港中文大学(深圳)与字节联手,造出能"自由调速"的语音大模型

香港中文大学(深圳)与字节跳动联合提出FlexiSLM,首个同时支持动态帧率和可控帧率的语音大模型。其通过帧合并技术将平均处理帧率从12.5赫兹降至6.25赫兹,计算量减半且质量损失极小,并可精确指定目标帧率。在多项评测中性能领先,推理速度比Qwen2.5-Omni快34%。

本文目录

    先说一个绕不开的问题:语音大模型为什么总是"固定频率"在说话?

    想象你和手机里的语音助手聊天,或者用AI把文字转成语音。背后其实有一台机器在固定打节拍——就像节拍器一样,不管你是在说"嗯……"还是"量子纠缠",它都用同样的节拍去切分和处理每一段声音。

    现有的语音大模型普遍采用固定帧率处理声音。所谓帧率,类比电影每秒多少帧,语音帧率就是每秒钟用多少个"声音片段"表示一句话。常见系统要么25赫兹(每秒25帧),要么12.5赫兹。看起来没什么问题,但仔细一想就有意思了:你在说"嗯……"或者停顿的时候,系统仍然老老实实以固定频率处理那些几乎没信息量的片段,白白消耗计算资源。更麻烦的是,固定帧率还剥夺了用户调速的权利——要是设备性能有限,或者网络不好,没法在速度和质量之间做个权衡。

    把场景拉回现实。香港中文大学(深圳)和字节跳动的研究团队针对这个问题做出了一套系统,叫FlexiSLM——业界首个同时支持动态帧率和可控帧率的语音大模型,听音和说话两端都做到了"按需调速"。

    讨论原文可在访问:arXiv:2606.31247

    也可以直接去GitHub开源代码库扒完整实现。

    一、节拍器与即兴演奏家:固定帧率与动态帧率的根本区别

    要理解这项研究解决了什么问题,拿乐队打比方最直观。传统固定帧率语音模型说什么呢?就像一个永远以固定节奏敲鼓的鼓手。不管前面的吉他手弹得多慢或多快,鼓点始终如一。简单可靠,但浪费资源——舞台上没人演奏时,鼓手还在机械打着节拍。

    动态帧率则是经验丰富的爵士乐鼓手,能感知音乐节奏变化,安静时轻轻扫弦,激烈段落才全力敲击。这种"随内容调整节拍"的方式,正是FlexiSLM的核心理念。

    这套理念的技术基础来自一个名叫FlexiCodec的语音编码器。核心思路很直接:相邻两段声音如果内容非常相近,就合并成一个更长的片段来处理,减少需要处理的帧数。判断要不要合并,用余弦相似度计算——高于某个阈值就合并,相差较大则保留独立处理。FlexiCodec在12.5赫兹基础帧率下,通过这种合并机制平均能把实际处理帧率降到6.25赫兹,减少了一半计算量,同时还能保持不错的语音质量。不过,这技术以前只在小规模文字转语音系统里验证过,从未用于端到端语音大模型。

    FlexiSLM的工作,就是把这套搬进更复杂、更实用的语音大模型体系里。

    二、FlexiSLM的结构:像"思考者"和"说话者"搭档工作

    整体架构可以理解为一对搭档:一个负责"理解和思考"(Thinker),另一个负责"把想法转化成声音"(Talker)。

    负责理解的那端叫音频编码器,采用来自Qwen2.5-Omni的预训练模块,能把原始声音转换成每秒25帧的连续特征序列。这25赫兹信号随后进入关键组件——帧合并模块,通过计算相邻帧相似度决定哪些可以合并,最终把输入压缩到不超过12.5赫兹的动态帧率序列,再送入核心大模型主干思考和推理。

    大语言模型主干(也就是"思考者")的基础是Qwen2.5-7B-Instruct。有趣的是,FlexiSLM的思考者处理语音时,不是读完输入就停下,而是贯穿用户提问到助手回答全过程,始终在"思考"——这跟Qwen2.5-Omni在文字生成结束后停止思考的方式不同。

    负责输出语音的"说话者"是一个专门的Transformer模块,接收思考者最后一层隐藏状态、目标帧率信号和之前生成的语音令牌,然后输出两条并行数据流:一条FlexiCodec的语义令牌,一条每个令牌对应的帧长度属性。两条数据流配合就能支持动态帧率的语音输出。

    为了防止说话者"抢在大脑前面说话"——即语音输出跑到对应文字内容之前——系统设计了一个5帧延迟机制,让语音流稍微落后于文字流,确保时间对应正确。帧长度令牌还会再额外延迟一步,让模型先知道这个位置的语音内容,再决定持续多长时间。

    还有个值得关注的细节:除了标准"思考者到说话者"单向信息流,FlexiSLM还设计了一条可选反向通道——"说话者到思考者连接"。这条通道把说话者已生成的语音令牌信息反馈回思考者,让它在后续推理中能感知"我已经说了什么",就像一边讲话一边听自己声音,从而更好保持语音输出连贯性。

    最终,说话者输出的语音令牌会进入预训练好的流匹配音频解码器,转换成梅尔频谱图,再经过Vocos声码器转为24千赫兹的真实语音波形。

    三、让帧率听从命令:可控帧率的实现方式

    FlexiSLM最吸引眼球的能力:用户可以直接告诉模型"我希望以6.25赫兹平均帧率输出语音",模型就会老实按这个节奏工作,不需要重新训练。

    要做到这点,研究团队先考虑了一种直觉方案:通过调整合并阈值间接控制帧率。阈值高,合并少,帧率高;阈值低,合并多,帧率低。确实有效,但麻烦在于——同一个阈值面对不同句子会产生差异极大的帧率结果。比如阈值设为0.90,理论应输出约8赫兹,实际在不同句子上变化范围从3.91到10.74赫兹,标准差高达0.70,几乎没有预测性。

    于是他们提出了直接帧率控制方案。训练阶段,每一条语音样本处理时,系统会随机采样一个合并阈值,计算出该样本实际得到的平均帧率,然后把帧率数值作为条件信号喂给说话者。通俗类比就是:不再告诉厨师"把火调到中档"(间接控制),而是直接说"我要七分熟的牛排"(直接目标),让厨师自己判断开多大火、烤多长时间。

    推理时,用户只需要指定目标帧率,系统自动调整内部合并强度匹配目标。为了平滑覆盖4赫兹到12.5赫兹范围内任意帧率(而不是只支持几个固定档位),研究团队用正弦位置编码来把帧率数值编码成连续向量信号,输入给说话者的每个时间步。

    实验数据验证了精准度:目标6.25赫兹时,实际输出帧率在不同测试集上均值都在6.24到6.25之间,标准差仅0.03到0.06,几乎没有偏差;目标4.0赫兹时同样高度准确。相比之下,间接阈值控制在相同测试集上的帧率变化范围可以超过6赫兹,完全无法预期。

    四、训练的三个阶段:从"学会说话"到"说得更好"

    FlexiSLM的训练过程分三个依次递进的阶段,就像培训一位同时担任翻译和播音员的工作人员:先学会播音,再学会翻译,最后打通融合。

    第一阶段叫"说话者预训练"。大模型主干被冻结不动,只训练说话者模块,数据是大量英文文字转语音数据(约10万小时)。目的是让说话者先学会把语义令牌转化成高质量语音输出,不需要理解语言内容,只需要"会说"。说话者到思考者的反向连接在这个阶段关闭。

    第二阶段叫"多任务LoRA微调"。LoRA是一种轻量级微调技术,用少量额外参数适应新任务,类似给训练好的大脑"加装补丁"。这个阶段打开输入端帧合并模块和大语言模型主干,在混合任务数据上同时训练——包括语音对话、文字转语音、语音识别和音频理解等多种。最重要的数据来源是团队专门构建的FlexiSLM-Data数据集,包含140万条语音对话样本,共9900小时。构建过程:从公开问答、指令跟随和对话数据集收集文字提问,用更大模型生成文字回答,再把回答合成为语音,最后通过格式、准确性和语音识别质量三重过滤筛掉异常样本。

    第三阶段叫"全参数微调"。把第二阶段的LoRA补丁合并回原始参数,对整个模型进行全参数训练,同时开启并训练说话者到思考者反向连接。目标:进一步提升12.5赫兹最高质量档位下的性能,同时增强低帧率鲁棒性。整个训练在24块A100 80G GPU上完成。

    训练损失由三部分组成:文字令牌预测损失、语音令牌预测损失、帧长度令牌预测损失,三者加权求和,其中文字损失权重是另外两项的两倍。

    五、和同类模型的比较:数字背后的真实实力

    在Kimi-Audio-Evalkit评测体系上,FlexiSLM-7B与Qwen2.5-Omni-7B、Kimi-Audio-7B、Mimo-Audio-7B等主流7B参数语音大模型进行正面比较。评测包括语音问答、语音识别和音频理解任务,同时测试"语音输入文字输出"和"语音输入语音输出"两种模式。

    在最高质量配置下,FlexiSLM综合得分72.4/67.2,而同为7B参数的Qwen2.5-Omni是66.7/63.3,Kimi-Audio是69.7/57.2,Mimo-Audio是70.6/59.0。FlexiSLM语音回答质量明显领先。

    把输出帧率降到6.25赫兹后,FlexiSLM综合得分几乎没有变化(72.3/66.2),语音令牌减少一半,质量损失极小。进一步把输入和输出都降到6.25赫兹,得分为70.2/64.3,在语音对话维度依然超过所有7B基线。这直接验证了核心主张:动态帧率可以在更低计算开销下达到甚至超过固定帧率模型表现。

    继续压到5.0赫兹,综合得分降到69.0/60.4;4.0赫兹则是67.2/56.5。语音识别错误率随之上升:6.25赫兹下是2.55/6.37,5.0赫兹下是3.34/7.85,4.0赫兹下是4.47/9.53。可见低于6.25赫兹后质量衰减更明显,这也是未来工作重点方向。

    推理速度方面数据同样印证研究价值。FlexiSLM在最高质量配置下的实时因子是1.17,而Qwen2.5-Omni是1.57,FlexiSLM快了34%。把输出帧率降到6.25赫兹,RTF降到0.59,比实时速度快近一倍,相比Qwen2.5-Omni快约2.7倍。从计算量看,12.5赫兹配置需约4.57 TFLOPs,输出降到6.25后降到3.41,进一步降到2.73。

    在语音生成质量方面,文字转语音识别错误率FlexiSLM以2.14%优于Qwen2.5-Omni的3.18%和Qwen3-Omni的3.34%。对话回答语音中,识别错误率4.52%同样优于对方6.33%。说明FlexiSLM输出语音不仅速度快,发音清晰度也更高。

    音频理解任务上,FlexiSLM同样出色。在情感识别、口音识别、人声分类、乐器识别和性别分类等任务上,平均准确率65.8%,超过Gemini 2.5-Pro的48.3%和LLaSO-3B的58.3%。值得注意的是,音频理解类任务在帧率降低时表现非常稳定——从12.5一路压到4.0赫兹,准确率几乎没有变化。原因在于情感、口音这类整体性特征不依赖精细局部音素细节,全局声学统计信息在合并后仍保留。

    六、消融实验:拆解每个设计决策的贡献

    研究团队系统测试了各设计选择的必要性,用更小规模训练做对比实验,所有变体都在6.25/6.25赫兹下评估。

    如果把动态帧合并换成均匀合并(每两帧固定合并成一帧,不根据相似度判断),结果是语音对话综合得分从63.0下降到61.0,文字转语音识别错误率从3.11%上升到4.95%,涨幅约59%。这说明动态合并确实比均匀合并保留更多对语音质量有意义的信息。

    类似地,如果把输入端的动态合并也换成均匀合并,语音转文字综合得分从68.7下降到67.5,困难测试集识别错误率从7.20%上升到7.97%。但语音对话得分和简单测试集识别率几乎不变。说明动态输入合并主要对需要精细语音理解的任务有帮助。

    把直接帧率控制换回间接阈值控制,语音对话和文字转语音质量下降,语音转文字和语音识别几乎不受影响。研究团队分析认为,阈值控制的模糊性让说话者在训练中面临更复杂的学习任务,需要从不够精确的条件信号中猜测目标帧率,从而减慢收敛速度,在有限预算下导致生成质量较差。

    研究团队还测试了不同编码器和主干选择。换用SenseVoice编码器,语音问答稍有下降但语音识别提升;换用专门ASR编码器,语音识别大幅提升但语音问答明显下降——与直觉一致,ASR编码器善于识别文字内容,但理解语义层面能力较弱。换用Qwen2.5-Omni的预训练主干,语音问答下降但语音识别提升,说明从文字LLM出发的主干拥有更强的知识和推理先验。

    最后,如果把输入端帧合并模块中的Transformer去掉,直接把合并后特征送入大语言模型,语音识别错误率急剧恶化(干净集从2.92%涨到6.45%,困难集从7.20%涨到12.33%),语音问答也明显下降。这个实验说明,那个用于重新对齐动态合并后特征的轻量Transformer是不可或缺的。

    说到底,FlexiSLM做的事情是给语音大模型装上"变速齿轮"。以前的系统只能全速运行,就像只有一个挡位的汽车;FlexiSLM则让模型根据实际需要灵活切换速度,在性能充裕时全速,资源有限时降速,整个过程不需要换车。

    这对普通用户意味着什么呢?不远的将来,AI语音助手可以在需要最快响应时以低质量快速给答案,在等待时间充足时切换到高质量模式——切换只需要一个参数改变,不需要部署两套系统。对于资源有限的边缘设备(比如手机或智能音箱),这种灵活性价值更为显著。

    当然,研究团队也坦诚指出现阶段的不足。FlexiSLM目前还不支持流式输出,需要等模型生成完整个回答再播放,而不是边想边说。模型还没有经过RLHF或DPO这类对齐训练,训练数据集中在单轮对话,多轮对话、深度推理和复杂指令支持还有提升空间。

    Q&A

    Q1:FlexiSLM的动态帧率和普通语音模型的固定帧率有什么本质区别?

    普通语音模型以固定节拍处理每一段声音,不管内容是否有信息量都一视同仁;FlexiSLM则会判断相邻声音片段是否相似,把内容相近的合并处理,只在内容变化明显时保留细粒度。这样能减少计算浪费,平均帧率从12.5降到6.25赫兹,推理速度大约快一倍。

    Q2:FlexiSLM把帧率压得很低,语音质量会不会变差到听不清?

    在6.25赫兹下语音质量损失很小,综合评分只下降约1分(满分100),语音识别错误率仍在可接受范围(约2.55%/6.37%)。压到5.0赫兹损失开始明显增加,4.0赫兹下降较大。6.25赫兹是当前兼顾速度和质量的合理平衡点。

    Q3:FlexiSLM的帧率控制和其他语音大模型相比有什么优势?

    现有语音大模型都是固定帧率,无法在推理时调整。FlexiSLM是目前第一个支持直接指定目标帧率的语音大模型,用户只需告诉模型"我要6.25赫兹",模型就能精确执行,误差小于0.1赫兹,不需要重新训练或部署多套系统。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    deepseek网页版登录入口官网免费在线使用教程
    deepseek网页版登录入口官网免费在线使用教程

    想要免费体验DeepSeek大模型?本文提供DeepSeek网页版官方登录入口,详解注册步骤、免费额度规则及深度思考模式的使用技巧,助你安全、高效地利用AI提升工作效率。

    Temperature与Top-p有什么区别?大模型采样参数解析
    Temperature与Top-p有什么区别?大模型采样参数解析

    深入解析大模型中 Temperature 和 Top-p 参数的区别。通过 Softmax 计算和累计概率示例,说明温度如何影响概率分布形状,Top-p 如何筛选候选词集合,帮助理解模型生成机制。

    智谱等中国大模型何时达到Fable级别水平?马斯克:或许明年一季度
    智谱等中国大模型何时达到Fable级别水平?马斯克:或许明年一季度

    马斯克回应称中国大模型或于2027年一季度达到Fable级别。智谱GLM-5.2多项评测与海外头部模型差距缩小至1%-4%,在CodeArena获全球可用模型第一。智谱股价单日涨26%,市值破9000亿港元。科创板拟扩大第五套标准支持AI企业上市。

    我国首个水产育种专用智能大模型平台发布
    我国首个水产育种专用智能大模型平台发布

    6月19日,我国首个水产育种专用智能大模型平台“蓝鲲智种”在海南发布,由青岛蓝色种业研究院联合中国海洋大学等打造,标志着水产育种领域拥有专属科学智能模型和基础平台。

    7B小模型如何在代码任务上打败数百亿参数的大模型?
    7B小模型如何在代码任务上打败数百亿参数的大模型?

    研究团队提出并行循环Transformer,让70亿参数模型通过两次内部循环思考,在代码任务上超越数百亿参数的大模型,第三次循环后性能因收益-代价失衡而下降。结合显式推理链可进一步提升效果。

    英伟达发明了一种让AI小模型向大模型学习的新方法,效果出奇地好
    英伟达发明了一种让AI小模型向大模型学习的新方法,效果出奇地好

    英伟达提出ZPPO方法,让大模型智慧以题目背景而非答案形式辅助小模型学习,通过二元候选、负面候选及回放缓冲区三大组件,在0.8B模型上视觉语言理解提升9.3%,全面超越现有方法。

    大模型战争下半场:谁还愿意一直租用 AI?
    大模型战争下半场:谁还愿意一直租用 AI?

    闭源API成本高、依赖性强,开放权重模型因可部署、可控、低成本而受青睐。2026年智谱GLM-5.2在特定任务接近美国前沿水平,标志前沿能力通过开放权重扩散。企业转向混合路线,模型调度层成为新机会,核心问题从“谁最强”变为“谁还愿意一直租用AI能力”。

    ICML26 重磅成果!清华 UDS 智能筛选训练样本,大模型微调算力直接减半
    ICML26 重磅成果!清华 UDS 智能筛选训练样本,大模型微调算力直接减半

    大模型监督微调SFT,过去一直被当作一个“数据越多越好”的活儿。但如果你真的在一线跑过训练,就会知道这个直觉有多离谱。2026年的产业数据很清楚:国内大模型训练的整体算力有效利用率,连五成都不到。大量GPU资源,其实都消耗在那些重复、低信息量、甚至带偏见的冗余样本上。 从根子上讲,全量样本训练不仅直

    ICML 2026 | 当大模型开始发明自己的语言:如何让 LLM 用更少 Token 完成高强度推理
    ICML 2026 | 当大模型开始发明自己的语言:如何让 LLM 用更少 Token 完成高强度推理

    CLSR提出让大模型智能体自主生成演化机器语言符号体系,将推理链视为带宽受限的状态传输。实验表明,该方法在多种基准上将生成端token降低约3-6倍,基本维持原始CoT准确率,并改善accuracy-token帕累托前沿。

    国产算力股集体拉升,美团发布首个全国产训推万亿参数大模型
    国产算力股集体拉升,美团发布首个全国产训推万亿参数大模型

    6月30日国产算力板块拉升,寒武纪涨超8%市值破万亿。美团发布LongCat-2.0,为首个完全基于国产算力训推的万亿参数大模型,参数超1.6万亿,测试版调用量全球前三,训练峰值算力超5万卡,成本低于同类模型。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。