腾讯混元开源AuK语音基础模型,1.5B参数,用自然语言指令统一语音生成、编辑、增强与分离共16类任务。支持zero-shot音色克隆、改台词、升降调、调语速、去噪、人声分离等,MIT协议可商用。蒸馏版AuK-Flash四步推理提速4.5倍。官方实测bf16显存约24.78GiB,暂不支持流式推理,且无水印溯源,声音业务需自行核实素材授权。
Tags:输入一段音频或一句文字描述,再用自然语言说清要改什么,AuK直接输出目标波形——生成、编辑、增强、分离共16类任务走同一个接口、同一套权重。过去这些活分散在十几个专用模型里。
语音生成和语音编辑,过去是两套东西。想克隆音色,要一个zero-shot TTS模型;想改台词,要一个编辑模型;想降噪,要一个增强模型;想把人声从伴奏里剥出来,又要一个分离模型。每换一项任务,就得重新部署一套权重、重新对齐一套接口,中间的格式转换和误差累积往往比任务本身还麻烦。
腾讯混元团队给出的做法是:把这些任务统一到「自然语言指令 + 音频上下文」这一个接口上。AuK是一个1.5B参数的语音基础模型,训练语料覆盖语音生成、内容编辑、副语言编辑、声学编辑、增强与分离五大任务族,共构造约30.3亿条指令-音频样本、195万小时有效监督。
在Seed-TTS-Eval上,AuK的词错率为2.65%,说话人相似度0.795;在SpeechEditBench上,内容编辑准确率从Ming-UniAudio的76.46%提升至91.83%,韵律编辑从26.50%提升至71.33%。蒸馏版AuK-Flash把推理压缩到4步、无需classifier-free guidance,在同等条件下取得4.5倍的端到端加速。
内环按五大能力族分组,外环汇总各自的指令级操作,周围面板示意代表性任务。扇区宽度为可读性做了调整。
相关链接
论文:AuK Technical Report(arXiv:2609.08936) 代码:github.com/Tencent-Hunyuan/AuK 主页:auk-project.github.io 模型权重:huggingface.co/tencent/AuK、tencent/AuK-Flash 在线体验:HF Space、ModelScope 开源协议:MIT
内容介绍
一句话说,AuK是一个「用说话的方式操作声音」的模型:给它一段参考音频(也可以不给),再告诉它要做什么,它直接输出24kHz波形。
与常规做法不同,它的核心卖点在于任务统一。README里列出的16项能力,全部走同一个自然语言接口:
语音生成:zero-shot TTS(照参考音频的音色念目标文本)、instruct TTS(只给一段音色描述,不给参考音频) 内容编辑:改写说了什么(替换、插入、删除文本)、歌词编辑(改唱词但保留旋律和音色) 声学编辑:按半音升降调、按比例调语速、按分贝调音量 副语言编辑:改情绪、改音色、去口音、增删呼吸笑声咳嗽等非语言音、正常语音与耳语互换 增强与分离:去噪去混响、按说话顺序保留指定说话人、从伴奏中提取人声、按「说了什么」锁定目标说话人
适用场景:影视与播客后期改台词而不重录、有声书批量调整语速音调、会议录音的人声分离与降噪、语音客服数据的清洗与脱敏、音乐制作中的干声提取。
五大任务族与代表性操作:语音生成、声学编辑、副语言编辑、内容编辑、增强与分离。
方法概述
一句话概括:一套编码器管语义,一套VAE管声学,中间用一个混合flow Transformer把两条流融起来,最后再蒸馏出一个4步出声的快版本。
用户指令与可选输入音频被映射为语义与声学两条条件流,多模态语言模型的逐层隐状态经可学习加权求和形成语义条件。
1. 语义条件:把MLLM的32层隐状态都用上
固定地取多模态大模型的最后一层输出,未必是不同任务下的最优条件——不同深度的表征捕捉到的语言学、声学和跨模态线索是互补的。AuK的做法是用Qwen2.5-Omni作语义编码器,对它的逐层隐状态做加权聚合(layer-fusion),再送入主干。论文特别指出,MLLM语义编码器与音频VAE在整个训练过程中保持冻结,只有Transformer主干和layer-fusion的参数被更新。
2. AuK-VAE:语音、通用音频、音乐共用一套latent
要让同一个模型既能说话又能唱歌还能分离音轨,声学表示必须统一。AuK-VAE在约300万小时的语音、音乐与通用音频上训练了124万次更新,三类数据按6:3:1的实例比例采样,全部重采样到24kHz并切成1.28秒片段。论文报告的重建对比中,AuK-VAE在语音(Seed-TTS-Eval)、通用音频(AudioSet抽样2000条)和音乐(MUSDB18-HQ)三个域的PESQ、STOI、Mel距离、多分辨率STFT距离四项指标上均取得最优。
3. 混合rectified-flow Transformer:前10层双流,后20层单流
主干是30层的FLUX风格混合结构:前10层为双流MMDiT块,让语义流与声学流各自处理再交互;后20层为单流DiT块,把两流合并后统一建模。每层隐藏维度1536、24个注意力头(头维度64)、SwiGLU前馈中间维度3072,整体约1.5B参数,位置编码沿用F5-TTS的RoPE加卷积位置嵌入设计。两种块都在RoPE之前施加基于RMSNorm的QK-Norm,并用零初始化的时间条件AdaLN调制注意力与前馈。
训练分两阶段:先用纯生成任务做warm-up建立基础发音能力,再用统一的rectified-flow目标联合优化生成与编辑。后训练阶段再叠两道:对开放式编辑用人类反馈偏好优化,对语音生成用基于奖励模型的强化学习——其中风格一致性奖励模型基于Qwen2.5-Omni-7B构建,用3万条1:1正负样本训练,推理时对判断结果做多次投票取多数。
4. 蒸馏:AuK-Flash的4步推理
为降低推理成本,团队用一致性初始化先把少步学生模型交给任务路由的解耦DMD目标,再用干净预测回归监督分离任务。最终AuK-Flash在4步内完成推理,且不依赖classifier-free guidance,同等条件下比完整模型快4.5倍,代价是语言准确率略降、感知质量指标反而更高。
实验结果
Seed-TTS-Eval的词错率与说话人相似度、InstructTTSEval的DSD,对比Qwen3-TTS、Seed-TTS、VoxCPM2等。
语音生成
| AuK | 2.65 | 0.795 |
在InstructTTSEval的DSD指标上,AuK的中文得分为83.37,高于Qwen3-TTS-VD的81.10和MOSS-VoiceGenerator的80.00;英文得分81.60,略低于Qwen3-TTS-VD的82.40与MOSS-VoiceGenerator的82.00。中文领先、英文小幅落后,这个差异值得留意。
指令编辑
MMAE-Speech编辑成功率、SpeechEditBench五类编辑、Ming-Freeform-Audio-Edit,对比Ming-UniAudio、Step-Audio-EditX等。
MMAE-Speech(开启Prompt Enhancer)上,AuK的指令遵循率**48.23%、内容保持率88.11%,对比Step-Audio-EditX的43.52%与77.27%;但完全匹配率EMR为12.44%,低于AuK-Flash的13.85%**。
SpeechEditBench五类编辑准确率(ACC↑):
| AuK | 91.83 | 9.94 | 71.33 | 37.07 |
内容与韵律两项提升幅度最大。**但情绪编辑的绝对分数只有9.94%**——所有参评模型在这一项上都停留在个位数,说明情绪控制目前仍是一个未解问题,AuK只是做了同样的量级,不宜读成「已解决」。
在Ming-Freeform-Audio-Edit的Full设定下,AuK把中文词错率从Ming-UniAudio的10.46%降到**3.09%,英文从14.28%降到3.96%;编辑准确率从79.62%提升到91.47%(中)、从70.98%提升到85.25%**(英)。
增强与分离
DNS Challenge去噪:AuK与AuK-Flash对比SAM-Audio-Large、RE-USE。
CHiME-4:AuK-Flash以7.84%词错率领先完整版。
Libri2Mix两人分离:AuK词错率9.12%最低,说话人相似度0.96并列最佳。
| 2.66 | |||
| 9.12 | |||
| 0.97 |
需要说明两点:DNS Challenge上AuK的DNSMOS-OVRL为3.35,并非最高(AnyEnhance为3.41);CHiME-4与VCTK-SR上,反而是AuK-Flash拿到更低的词错率和更高的UTMOS。论文自己的总结是:完整版更保语言内容,Flash版感知质量更好——这是一个清晰的取舍,不是全面碾压。
一个值得注意的发现
论文第7.4节记录了两个「训练没教、但模型会了」的现象:耳语数据只构造了「正常↔耳语」的编辑对,模型却能直接按指令从文本合成耳语;去口音监督只覆盖中文方言,模型却能对带印度、日本口音的英语去口音。团队同时坦承这类观察是定性的,不能替代系统性评测。
局限与未来方向
首先,原生自由指令跟随并不牢靠。团队试过用agent流水线(改自Audio-Oscar)构造自由形式的编辑指令数据,虽然丰富了指令的语言多样性,但对任意用户请求的泛化仍不够稳健;实际部署中仍要靠Prompt Enhancer先识别任务、归一化控制参数、把请求改写回训练分布内。规范格式的指令可以绕过这一步直接调用。
其次,指标口径要分开看。前文提到的英文DSD、DNSMOS-OVRL、CHiME-4词错率等几项,AuK都不是第一;情绪编辑的绝对分数也仍是个位数。「编辑能力大幅提升」主要体现在内容编辑与韵律编辑上,不等于全类目领先。
此外,没有水印或溯源机制。MIT协议本身不设商用门槛,而模型具备完整的zero-shot声音克隆能力,这意味着一个开箱即用、可自由部署的声音复刻工具被完整地放了出来, misuse风险由使用者自行承担。工程侧还有两个约束:官方在A800上实测bf16峰值显存24.78 GiB(开启CPU offload后约16.75 GiB),且当前实现为非流式,ComfyUI集成有30秒的源加目标序列上限;语义编码器目前仅支持Qwen2.5-Omni-3B,Qwen3-Omni暂不支持。
结论
AuK的核心意义并非单项指标最优,而是证实语音生成与编辑可统一到一套权重、一套指令接口。依托海量训练数据构建起能力迁移网络,也涌现出耳语合成、跨语言去口音等意外效果。
对不同群体价值各异:内容团队可免重录改台词,优先用AuK‑Flash验证链路;算法研究者可借鉴其后训练技术方案;个人开发者要留意较高的显存部署门槛。
统一接口不会完全替代专用模型,但能降低开发成本。该模型MIT协议支持商用,却无水印溯源,声音相关业务务必核实素材授权,且模型暂不支持实时流式推理。语音的未来,或许是用户无需关心模型选型,仅凭指令就完成语音生成与编辑。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论