2026年10月21日星期三

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声

WorldSonus是港大与NoizAI开源的流式视频转音频框架,以100ms分块实时生成48kHz立体声,单块耗时41.2ms,RTF0.41,支持中途改写提示词,权重4.12GB,协议CC BY-NC 4.0不可商用。

Tags:
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!
港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声

输入一段边生成边播的视频流,外加一条可以中途改写的文字提示,输出48kHz立体声音频——100ms一块跟着画面走,单块计算只要41.2ms。以往视频到音频要等整段视频生成完再离线配音,WorldSonus是第一个跟着交互式视频流实时跑的空间音频框架。

过去两年世界模型把画面越做越真,但生成的世界基本是哑的。给世界模型配音要同时过三关:实时,要跟上交互式视频流的速度;可控,要在生成中途改音效指令;空间对齐,左右声道要跟着场景几何和机位运动走。现有视频到音频模型要么用双向注意力、必须拿到完整片段才能出声,要么支持流式但只有单声道。

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/02:05
进度条,百分之0
00:00
/
02:05
02:05
全屏
倍速播放中

继续观看

世界模型终于有声音了!港大联合 NoizAI 开源 WorldSonus,把视频到音频压到 RTF0.41。

转载
,
世界模型终于有声音了!港大联合 NoizAI 开源 WorldSonus,把视频到音频压到 RTF0.41。
AIGC Studio
已同步到看一看写下你的评论

香港科技大学Qifeng Chen组联合NoizAI推出WorldSonus,作者列表里还有MetaX(沐曦)与上海交通大学——MMAudio作者Zeyue Tian、ThinkSound一作Hongyu Liu都在其中。它用流式因果自回归扩散架构,以100ms为一块合成音频,单块计算41.2ms、RTF0.41(单卡H100实测);训练用了1465小时音频,其中999小时是立体声视频-音频对。在VGGSound与交互式视频共五档held-out测试集上,FAD全部低于AudioX、ThinkSound、PrismAudio三个双向离线模型。代码与权重已开源,权重共4.12GB,协议为CC BY-NC 4.0(非商用)。

unsetunset效果展示unsetunset

电影级写实风格的外太空。深邃的黑色太空繁星点点,地球弧形的蓝色边缘隐约可见于背景下方,右侧阳光强烈照射。这是一个零重力环境,没有任何地面或参照物。远处,一座空间站的部分结构,银色的太阳能电池板在阳光下闪闪发光。右侧,一条淡淡的银河横跨星空。散落的碎片和系绳工具包漂浮在附近的虚空中。一名宇航员身穿白色NASA式舱外活动服,头戴金色面罩头盔,左臂佩戴美国国旗臂章。宇航员以放松的失重姿态漂浮在零重力环境中,双臂微微张开,没有接触地面。采用第三人称视角。镜头位于宇航员后方略上方,画面中心,跟随宇航员在太空中的漂浮轨迹。
港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/00:16
进度条,百分之0
00:00
/
00:16
00:16
全屏
倍速播放中

继续观看

世界模型终于有声音了!港大联合 NoizAI 开源 WorldSonus,把视频到音频压到 RTF0.41。

转载
,
世界模型终于有声音了!港大联合 NoizAI 开源 WorldSonus,把视频到音频压到 RTF0.41。
AIGC Studio
已同步到看一看写下你的评论
一个逼真的客厅,前景是熨衣板,上面堆满了皱巴巴的米色/橄榄色衣物。桌子右侧裸露的台面上散落着一些纸张和一个咖啡杯。桌子后面是两张舒适的沙发,上面放着靠垫,硬木地板上铺着一块图案地毯,右侧的窗户透进柔和的自然光。房间充满温馨的居家氛围。在画面右侧的远处,附近的衣架上挂着更多皱巴巴的衣物。桌面向前延伸,露出木质部分,上面也堆满了褶皱的布料,为熨斗提供了流畅的熨烫路径。画面左侧边缘摆放着一张小边桌,上面放着一个喷水瓶。一台深色的、带有电源线的逼真电熨斗放在桌上的皱巴巴的衣物上。熨斗的底板略微加热,无需人为操作即可在织物表面平稳滑动,始终保持与衣物的接触。镜头采用第三人称视角,从靠近桌子高度的低角度拍摄,中心对准熨斗。镜头跟随熨斗在织物表面移动,使其保持在画面右侧中央,客厅环境则在背景中可见。
港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/00:12
进度条,百分之0
00:00
/
00:12
00:12
全屏
倍速播放中

继续观看

世界模型终于有声音了!港大联合 NoizAI 开源 WorldSonus,把视频到音频压到 RTF0.41。

转载
,
世界模型终于有声音了!港大联合 NoizAI 开源 WorldSonus,把视频到音频压到 RTF0.41。
AIGC Studio
已同步到看一看写下你的评论

unsetunset相关链接unsetunset

  • 论文:https://arxiv.org/abs/2610.08760
  • 代码:https://github.com/NoizAI/WorldSonus
  • 主页:https://noizai.github.io/WorldSonus/
  • 模型权重:https://huggingface.co/FF2416/WorldSonus
  • 开源协议:代码与权重CC BY-NC 4.0;论文CC BY-NC-SA 4.0

unsetunset内容介绍unsetunset

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声

一句话说,WorldSonus是一个给世界模型配实时立体声的框架:视频流一帧帧进来,音频一块块出去,每块100ms,只依赖过去和当前的画面。

与"先生成完整视频、再整段配音"的常规做法不同,它的卖点有三个:

  1. 流式因果生成:模型看不到未来帧,显存占用有界,可以无限长地跟下去。
  2. 中途改声:生成到一半把提示词从"引擎怠速"换成"引擎熄火渐远",声音在最近的块边界平滑切换,会话状态不丢。
  3. 空间立体声:输出左右双声道,声源在哪边、声音就偏哪边,且机位运动时方向跟着变。

适用场景:交互式世界模型与游戏引擎的实时配音、虚拟直播与仿真环境的环境声、长视频流的边生成边配乐。

unsetunset方法概述unsetunset

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声

一套机制管"快",一套管"准",一套管"稳"。

1. 分块因果流式生成(Streaming Formulation + AR-Diffusion)

问题是怎么让扩散模型流式出声。WorldSonus把音频冻在一个因果立体声VAE(改编自SoundReactor)的连续latent空间里,48kHz音频压成30Hz的潜变量,100ms一块对应3个latent帧、与3帧视频(30FPS)时间对齐。骨干是decoder-only Transformer,每步只读两个聚合token——上一音频块与当前视频块——用因果滑动窗口注意力训练;推理时用Ring-KV缓存维护一个W=50块(5秒)的循环缓冲区,写满就原地覆写最老槽位,显存不随时间增长。AR隐状态再去条件一个轻量flow head,用rectified-flow目标去噪当前块的3个latent帧;flow head在块内可以双向注意力,但同样不许偷看未来帧。

2. 双时间尺度视觉条件(Two-Timescale Visual Conditioning)

问题是一个5秒的记忆窗口装不下长程语义,而精细的声画同步又需要逐帧细节。WorldSonus把视觉条件拆成两条路:冻结的DINOv3把每帧编码成patch网格并拼上帧差图捕捉运动,每帧聚成1个token;一条路把3个帧token再聚成1个块级语义token送进AR骨干,管长程连贯,只占1个token的显存;另一路让3个帧对齐token绕过骨干、直接喂给flow head,管音画同步的细粒度渲染。长程规划与局部渲染就此解耦。

3. 训练期对齐蒸馏ShiftNCE与中途提示词控制

问题是因果流式天然容易音画错位,而推理时挂一个同步检测器又要添延迟。WorldSonus把Synchformer当训练期老师:用对比学习把对齐能力蒸馏进生成器,正样本是时间对齐的窗口,负样本是同一视频错开若干块的窗口,推理时零开销。消融显示,去掉ShiftNCE后DeSync从0.831恶化到1.067。提示词侧,T5Gemma 2把指令压成token集,经cross-attention缓存条件骨干;中途换词只在最近的块边界原地替换这份缓存,Ring-KV和已有视听状态都不动。训练时特意加入中途切换、删除提示词的时变调度,模型才学得会这种无缝转场。

unsetunset实验结果unsetunset

音频质量:五档FAD全面第一

五档held-out测试集:VGGSound两档(5s/10s,各4096条)与交互式视频三档(5s/10s各4096条、30s共1024条,含动态机位的游戏与实拍)。FAD(越低越好):

测试集
AudioX
ThinkSound
PrismAudio
V-AURA(流式)
WorldSonus
VGG5s
3.00
2.94
2.09
4.06
1.73
VGG10s
3.86
2.18
2.64
4.35
1.79
Inter5s
4.44
8.49
6.22
8.18
2.68
Inter10s
5.05
6.27
5.16
9.75
2.62
Inter30s
5.52
7.00
6.08
13.33
2.03

KL散度(KLP)同样五档全胜(1.22~1.48),立体声分布质量S-FD_O五档全胜(25.44~45.40,最好的基线也在83以上)。注意对比条件不对等:三个双向基线看得到整段视频,WorldSonus只看过去和当前帧。

空间对齐:左右声道跟得住

BiasSkill衡量生成音频与参考音频在1s窗口内是否偏向同一侧声道:

模型
VGG10s
Inter10s
Inter30s
AudioX
3.79
3.08
-0.01
ThinkSound
3.22
-1.78
0.63
PrismAudio
1.10
-0.06
4.19
WorldSonus
4.426.0315.90

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声两段交互式视频:海滩浪花在画面左侧、卡车从右侧驶过。WorldSonus的左右声道频谱与带符号能量平衡曲线跟随真实声源方位,三个双向基线要么方向感弱、要么不稳定。

长程稳定性与中途控制

连续生成会不会崩?在1024条Interactive 30s上对比两种测法:直接生成最后5s窗口,与从一条不间断30s流里取出同一窗口。FAD 2.63对2.51、DeSync 0.880对0.827,滚动生成的尾部反而略好——5秒Ring-KV窗口下长程无漂移、无崩塌。

中途换词是否真的听得出区别?双盲相对匹配率(两段音频各自配自己的提示词被偏好的比率):WorldSonus在VGG10s/Inter10s拿到25.68%/23.44%,全部基线只有11.99%~16.16%。配对切换实验的切换增益G为+0.051(VGG10s)与+0.053(Inter10s),95%置信区间半宽只有0.004。交互更新瞬间,单块延迟从41.2ms升到45.28ms(p50)/47.40ms(p95),仍在实时线内。

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声20名受试者对40条Interactive 10s做400对盲评:(a)空间对齐(b)时间对齐(c)语义对齐(d)总体偏好。WorldSonus对全部三个生成基线四项全胜,总体偏好分别为58.8%(对AudioX)、80.0%(对ThinkSound)、65.0%(对PrismAudio),但对真实音频仍处劣势。

另一面:起音检测没赢

在无模型的Greatest Hits物理碰撞起音基准上,WorldSonus三项都不占优:Acc 0.803(AudioX 0.858最高)、F1 0.785(PrismAudio 0.808最高)、AP 0.871(PrismAudio 0.906最高)。消融还显示,去掉ShiftNCE后这项崩得最狠(Acc掉到0.678)——ShiftNCE把同步从1.067拉回0.831,但也只拉回到"够用",没追上直接在Synchformer特征上训练的双向模型。

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声
图4:盲听评测界面
港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声

论文的用户研究界面:受试者对同一段10s立体声视频在A/B两个音轨间盲选,并按空间对齐、时间同步、语义对齐、总体偏好四维打分。

unsetunset局限与未来方向unsetunset

首先,DeSync全面输给双向模型(VGG5s 0.686对ThinkSound 0.481),起音检测三项全败,这是因果流式设计的直接代价——看不到未来,就只能用5秒历史去赌起音时机。

其次,指标口径有前提:RTF0.41是单卡H100实测,论文未披露参数量(只有36层/宽1024/16头的架构配置),消费级显卡上的速度不能直接套用这个数字。

此外,作者自述两条硬上限:冻结的因果立体声VAE重建质量低于非因果版本,构成生成质量的天花板;高质量立体声数据仍然稀缺,很多公开立体声视频的左右声道是人工分离的,并不反映真实声源方位。

unsetunset结论unsetunset

WorldSonus验证了一件事:bounded-memory的因果生成可以同时拿到实时速度、空间立体声和不掉队的音质,世界模型的"听觉"从离线后期正式进入流式实时。

对于做世界模型和游戏引擎的团队,4.12GB权重可以直接拉下来试流式配音,但注意DINOv3与T5Gemma 2两个编码器要单独接受条款,实操可能卡在鉴权;对于内容创作者,它还不是即插即用的工具,没有商用授权,也没有消费级实测数据。

声音是世界模型最后一块拼图里最便宜的一块,也是最容易被忽略的一块——直到你戴上耳机才发现,哑巴世界再逼真也出不了戏。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

港大NoizAI开源WorldSonus 视频转音频实时RTF0。41 流式立体声

没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...