2026年9月12日星期六

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

腾讯混元开源AuK语音基础模型,1.5B参数,用自然语言指令统一语音生成、编辑、增强与分离共16类任务。支持zero-shot音色克隆、改台词、升降调、调语速、去噪、人声分离等,MIT协议可商用。蒸馏版AuK-Flash四步推理提速4.5倍。官方实测bf16显存约24.78GiB,暂不支持流式推理,且无水印溯源,声音业务需自行核实素材授权。

Tags:
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!
腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

输入一段音频或一句文字描述,再用自然语言说清要改什么,AuK直接输出目标波形——生成、编辑、增强、分离共16类任务走同一个接口、同一套权重。过去这些活分散在十几个专用模型里。

语音生成和语音编辑,过去是两套东西。想克隆音色,要一个zero-shot TTS模型;想改台词,要一个编辑模型;想降噪,要一个增强模型;想把人声从伴奏里剥出来,又要一个分离模型。每换一项任务,就得重新部署一套权重、重新对齐一套接口,中间的格式转换和误差累积往往比任务本身还麻烦。

腾讯混元团队给出的做法是:把这些任务统一到「自然语言指令 + 音频上下文」这一个接口上。AuK是一个1.5B参数的语音基础模型,训练语料覆盖语音生成、内容编辑、副语言编辑、声学编辑、增强与分离五大任务族,共构造约30.3亿条指令-音频样本、195万小时有效监督。

Instruction: Say the following in the reference speaker's voice: “有些事情只有失去了才知道珍惜,有些人转身以后,就再也回不来了”

在Seed-TTS-Eval上,AuK的词错率为2.65%,说话人相似度0.795;在SpeechEditBench上,内容编辑准确率从Ming-UniAudio的76.46%提升至91.83%,韵律编辑从26.50%提升至71.33%。蒸馏版AuK-Flash把推理压缩到4步、无需classifier-free guidance,在同等条件下取得4.5倍的端到端加速。

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/01:56
进度条,百分之0
00:00
/
01:56
01:56
全屏
倍速播放中

继续观看

改一句台词要重录整段?腾讯混元开源AuK:1.5B参数用一句话指令干完语音生成、编辑、分离16种活。

转载
,
改一句台词要重录整段?腾讯混元开源AuK:1.5B参数用一句话指令干完语音生成、编辑、分离16种活。
AIGC Studio
已同步到看一看写下你的评论
腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

 内环按五大能力族分组,外环汇总各自的指令级操作,周围面板示意代表性任务。扇区宽度为可读性做了调整。

unsetunset相关链接unsetunset

  • 论文:AuK Technical Report(arXiv:2609.08936)
  • 代码:github.com/Tencent-Hunyuan/AuK
  • 主页:auk-project.github.io
  • 模型权重:huggingface.co/tencent/AuK、tencent/AuK-Flash
  • 在线体验:HF Space、ModelScope
  • 开源协议:MIT

unsetunset内容介绍unsetunset

一句话说,AuK是一个「用说话的方式操作声音」的模型:给它一段参考音频(也可以不给),再告诉它要做什么,它直接输出24kHz波形。

与常规做法不同,它的核心卖点在于任务统一。README里列出的16项能力,全部走同一个自然语言接口:

  1. 语音生成:zero-shot TTS(照参考音频的音色念目标文本)、instruct TTS(只给一段音色描述,不给参考音频)
  2. 内容编辑:改写说了什么(替换、插入、删除文本)、歌词编辑(改唱词但保留旋律和音色)
  3. 声学编辑:按半音升降调、按比例调语速、按分贝调音量
  4. 副语言编辑:改情绪、改音色、去口音、增删呼吸笑声咳嗽等非语言音、正常语音与耳语互换
  5. 增强与分离:去噪去混响、按说话顺序保留指定说话人、从伴奏中提取人声、按「说了什么」锁定目标说话人

适用场景:影视与播客后期改台词而不重录、有声书批量调整语速音调、会议录音的人声分离与降噪、语音客服数据的清洗与脱敏、音乐制作中的干声提取。

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

 五大任务族与代表性操作:语音生成、声学编辑、副语言编辑、内容编辑、增强与分离。

unsetunset方法概述unsetunset

一句话概括:一套编码器管语义,一套VAE管声学,中间用一个混合flow Transformer把两条流融起来,最后再蒸馏出一个4步出声的快版本。

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

 用户指令与可选输入音频被映射为语义与声学两条条件流,多模态语言模型的逐层隐状态经可学习加权求和形成语义条件。

1. 语义条件:把MLLM的32层隐状态都用上

固定地取多模态大模型的最后一层输出,未必是不同任务下的最优条件——不同深度的表征捕捉到的语言学、声学和跨模态线索是互补的。AuK的做法是用Qwen2.5-Omni作语义编码器,对它的逐层隐状态做加权聚合(layer-fusion),再送入主干。论文特别指出,MLLM语义编码器与音频VAE在整个训练过程中保持冻结,只有Transformer主干和layer-fusion的参数被更新。

2. AuK-VAE:语音、通用音频、音乐共用一套latent

要让同一个模型既能说话又能唱歌还能分离音轨,声学表示必须统一。AuK-VAE在约300万小时的语音、音乐与通用音频上训练了124万次更新,三类数据按6:3:1的实例比例采样,全部重采样到24kHz并切成1.28秒片段。论文报告的重建对比中,AuK-VAE在语音(Seed-TTS-Eval)、通用音频(AudioSet抽样2000条)和音乐(MUSDB18-HQ)三个域的PESQ、STOI、Mel距离、多分辨率STFT距离四项指标上均取得最优。

3. 混合rectified-flow Transformer:前10层双流,后20层单流

主干是30层的FLUX风格混合结构:前10层为双流MMDiT块,让语义流与声学流各自处理再交互;后20层为单流DiT块,把两流合并后统一建模。每层隐藏维度1536、24个注意力头(头维度64)、SwiGLU前馈中间维度3072,整体约1.5B参数,位置编码沿用F5-TTS的RoPE加卷积位置嵌入设计。两种块都在RoPE之前施加基于RMSNorm的QK-Norm,并用零初始化的时间条件AdaLN调制注意力与前馈。

训练分两阶段:先用纯生成任务做warm-up建立基础发音能力,再用统一的rectified-flow目标联合优化生成与编辑。后训练阶段再叠两道:对开放式编辑用人类反馈偏好优化,对语音生成用基于奖励模型的强化学习——其中风格一致性奖励模型基于Qwen2.5-Omni-7B构建,用3万条1:1正负样本训练,推理时对判断结果做多次投票取多数。

4. 蒸馏:AuK-Flash的4步推理

为降低推理成本,团队用一致性初始化先把少步学生模型交给任务路由的解耦DMD目标,再用干净预测回归监督分离任务。最终AuK-Flash在4步内完成推理,且不依赖classifier-free guidance,同等条件下比完整模型快4.5倍,代价是语言准确率略降、感知质量指标反而更高。

unsetunset实验结果unsetunset

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

 Seed-TTS-Eval的词错率与说话人相似度、InstructTTSEval的DSD,对比Qwen3-TTS、Seed-TTS、VoxCPM2等。

语音生成

模型
Seed-TTS-Eval 平均词错率↓
说话人相似度↑
Qwen3-TTS
3.07
0.745
Seed-TTS
3.65
0.778
VoxCPM2
3.65
0.767
AuK-Flash
2.85
0.790
AuK2.650.795

在InstructTTSEval的DSD指标上,AuK的中文得分为83.37,高于Qwen3-TTS-VD的81.10和MOSS-VoiceGenerator的80.00;英文得分81.60,略低于Qwen3-TTS-VD的82.40与MOSS-VoiceGenerator的82.00。中文领先、英文小幅落后,这个差异值得留意。

指令编辑

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务 MMAE-Speech编辑成功率、SpeechEditBench五类编辑、Ming-Freeform-Audio-Edit,对比Ming-UniAudio、Step-Audio-EditX等。

MMAE-Speech(开启Prompt Enhancer)上,AuK的指令遵循率**48.23%、内容保持率88.11%,对比Step-Audio-EditX的43.52%与77.27%;但完全匹配率EMR为12.44%,低于AuK-Flash的13.85%**。

SpeechEditBench五类编辑准确率(ACC↑):

模型
内容
情绪
韵律
副语言
声学
Ming-UniAudio
76.46
3.43
26.50
11.25
25.85
Step-Audio-EditX
16.50
7.71
20.13
31.25
22.89
AuK-Flash
87.50
6.29
70.00
39.25
30.26
AuK91.839.9471.33
38.50
37.07

内容与韵律两项提升幅度最大。**但情绪编辑的绝对分数只有9.94%**——所有参评模型在这一项上都停留在个位数,说明情绪控制目前仍是一个未解问题,AuK只是做了同样的量级,不宜读成「已解决」。

在Ming-Freeform-Audio-Edit的Full设定下,AuK把中文词错率从Ming-UniAudio的10.46%降到**3.09%,英文从14.28%降到3.96%;编辑准确率从79.62%提升到91.47%(中)、从70.98%提升到85.25%**(英)。

增强与分离

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

 DNS Challenge去噪:AuK与AuK-Flash对比SAM-Audio-Large、RE-USE。

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

 CHiME-4:AuK-Flash以7.84%词错率领先完整版。

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

 Libri2Mix两人分离:AuK词错率9.12%最低,说话人相似度0.96并列最佳。

任务
指标
对比基线
AuK
DNS Challenge
dWER↓
RE-USE 3.31
2.66
CHiME-4
WER↓
RE-USE 10.71
7.98(Flash 7.84)
Libri2Mix 两人分离
WER↓
MossFormer2-SS 9.34
9.12
VCTK-SR 超分
SIM↑
AudioSR 0.92
0.97

需要说明两点:DNS Challenge上AuK的DNSMOS-OVRL为3.35,并非最高(AnyEnhance为3.41);CHiME-4与VCTK-SR上,反而是AuK-Flash拿到更低的词错率和更高的UTMOS。论文自己的总结是:完整版更保语言内容,Flash版感知质量更好——这是一个清晰的取舍,不是全面碾压。

一个值得注意的发现

论文第7.4节记录了两个「训练没教、但模型会了」的现象:耳语数据只构造了「正常↔耳语」的编辑对,模型却能直接按指令从文本合成耳语;去口音监督只覆盖中文方言,模型却能对带印度、日本口音的英语去口音。团队同时坦承这类观察是定性的,不能替代系统性评测。

unsetunset局限与未来方向unsetunset

首先,原生自由指令跟随并不牢靠。团队试过用agent流水线(改自Audio-Oscar)构造自由形式的编辑指令数据,虽然丰富了指令的语言多样性,但对任意用户请求的泛化仍不够稳健;实际部署中仍要靠Prompt Enhancer先识别任务、归一化控制参数、把请求改写回训练分布内。规范格式的指令可以绕过这一步直接调用。

其次,指标口径要分开看。前文提到的英文DSD、DNSMOS-OVRL、CHiME-4词错率等几项,AuK都不是第一;情绪编辑的绝对分数也仍是个位数。「编辑能力大幅提升」主要体现在内容编辑与韵律编辑上,不等于全类目领先。

此外,没有水印或溯源机制。MIT协议本身不设商用门槛,而模型具备完整的zero-shot声音克隆能力,这意味着一个开箱即用、可自由部署的声音复刻工具被完整地放了出来, misuse风险由使用者自行承担。工程侧还有两个约束:官方在A800上实测bf16峰值显存24.78 GiB(开启CPU offload后约16.75 GiB),且当前实现为非流式,ComfyUI集成有30秒的源加目标序列上限;语义编码器目前仅支持Qwen2.5-Omni-3B,Qwen3-Omni暂不支持。

unsetunset结论unsetunset

AuK的核心意义并非单项指标最优,而是证实语音生成与编辑可统一到一套权重、一套指令接口。依托海量训练数据构建起能力迁移网络,也涌现出耳语合成、跨语言去口音等意外效果。

对不同群体价值各异:内容团队可免重录改台词,优先用AuK‑Flash验证链路;算法研究者可借鉴其后训练技术方案;个人开发者要留意较高的显存部署门槛。

统一接口不会完全替代专用模型,但能降低开发成本。该模型MIT协议支持商用,却无水印溯源,声音相关业务务必核实素材授权,且模型暂不支持实时流式推理。语音的未来,或许是用户无需关心模型选型,仅凭指令就完成语音生成与编辑。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

腾讯混元开源AuK语音大模型 1。5B参数一句话指令完成生成编辑分离16类任务

没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...