WorldSonus是港大与NoizAI开源的流式视频转音频框架,以100ms分块实时生成48kHz立体声,单块耗时41.2ms,RTF0.41,支持中途改写提示词,权重4.12GB,协议CC BY-NC 4.0不可商用。
Tags:输入一段边生成边播的视频流,外加一条可以中途改写的文字提示,输出48kHz立体声音频——100ms一块跟着画面走,单块计算只要41.2ms。以往视频到音频要等整段视频生成完再离线配音,WorldSonus是第一个跟着交互式视频流实时跑的空间音频框架。
过去两年世界模型把画面越做越真,但生成的世界基本是哑的。给世界模型配音要同时过三关:实时,要跟上交互式视频流的速度;可控,要在生成中途改音效指令;空间对齐,左右声道要跟着场景几何和机位运动走。现有视频到音频模型要么用双向注意力、必须拿到完整片段才能出声,要么支持流式但只有单声道。
香港科技大学Qifeng Chen组联合NoizAI推出WorldSonus,作者列表里还有MetaX(沐曦)与上海交通大学——MMAudio作者Zeyue Tian、ThinkSound一作Hongyu Liu都在其中。它用流式因果自回归扩散架构,以100ms为一块合成音频,单块计算41.2ms、RTF0.41(单卡H100实测);训练用了1465小时音频,其中999小时是立体声视频-音频对。在VGGSound与交互式视频共五档held-out测试集上,FAD全部低于AudioX、ThinkSound、PrismAudio三个双向离线模型。代码与权重已开源,权重共4.12GB,协议为CC BY-NC 4.0(非商用)。
效果展示
电影级写实风格的外太空。深邃的黑色太空繁星点点,地球弧形的蓝色边缘隐约可见于背景下方,右侧阳光强烈照射。这是一个零重力环境,没有任何地面或参照物。远处,一座空间站的部分结构,银色的太阳能电池板在阳光下闪闪发光。右侧,一条淡淡的银河横跨星空。散落的碎片和系绳工具包漂浮在附近的虚空中。一名宇航员身穿白色NASA式舱外活动服,头戴金色面罩头盔,左臂佩戴美国国旗臂章。宇航员以放松的失重姿态漂浮在零重力环境中,双臂微微张开,没有接触地面。采用第三人称视角。镜头位于宇航员后方略上方,画面中心,跟随宇航员在太空中的漂浮轨迹。一个逼真的客厅,前景是熨衣板,上面堆满了皱巴巴的米色/橄榄色衣物。桌子右侧裸露的台面上散落着一些纸张和一个咖啡杯。桌子后面是两张舒适的沙发,上面放着靠垫,硬木地板上铺着一块图案地毯,右侧的窗户透进柔和的自然光。房间充满温馨的居家氛围。在画面右侧的远处,附近的衣架上挂着更多皱巴巴的衣物。桌面向前延伸,露出木质部分,上面也堆满了褶皱的布料,为熨斗提供了流畅的熨烫路径。画面左侧边缘摆放着一张小边桌,上面放着一个喷水瓶。一台深色的、带有电源线的逼真电熨斗放在桌上的皱巴巴的衣物上。熨斗的底板略微加热,无需人为操作即可在织物表面平稳滑动,始终保持与衣物的接触。镜头采用第三人称视角,从靠近桌子高度的低角度拍摄,中心对准熨斗。镜头跟随熨斗在织物表面移动,使其保持在画面右侧中央,客厅环境则在背景中可见。相关链接
论文:https://arxiv.org/abs/2610.08760 代码:https://github.com/NoizAI/WorldSonus 主页:https://noizai.github.io/WorldSonus/ 模型权重:https://huggingface.co/FF2416/WorldSonus 开源协议:代码与权重CC BY-NC 4.0;论文CC BY-NC-SA 4.0
内容介绍
一句话说,WorldSonus是一个给世界模型配实时立体声的框架:视频流一帧帧进来,音频一块块出去,每块100ms,只依赖过去和当前的画面。
与"先生成完整视频、再整段配音"的常规做法不同,它的卖点有三个:
流式因果生成:模型看不到未来帧,显存占用有界,可以无限长地跟下去。 中途改声:生成到一半把提示词从"引擎怠速"换成"引擎熄火渐远",声音在最近的块边界平滑切换,会话状态不丢。 空间立体声:输出左右双声道,声源在哪边、声音就偏哪边,且机位运动时方向跟着变。
适用场景:交互式世界模型与游戏引擎的实时配音、虚拟直播与仿真环境的环境声、长视频流的边生成边配乐。
方法概述
一套机制管"快",一套管"准",一套管"稳"。
1. 分块因果流式生成(Streaming Formulation + AR-Diffusion)
问题是怎么让扩散模型流式出声。WorldSonus把音频冻在一个因果立体声VAE(改编自SoundReactor)的连续latent空间里,48kHz音频压成30Hz的潜变量,100ms一块对应3个latent帧、与3帧视频(30FPS)时间对齐。骨干是decoder-only Transformer,每步只读两个聚合token——上一音频块与当前视频块——用因果滑动窗口注意力训练;推理时用Ring-KV缓存维护一个W=50块(5秒)的循环缓冲区,写满就原地覆写最老槽位,显存不随时间增长。AR隐状态再去条件一个轻量flow head,用rectified-flow目标去噪当前块的3个latent帧;flow head在块内可以双向注意力,但同样不许偷看未来帧。
2. 双时间尺度视觉条件(Two-Timescale Visual Conditioning)
问题是一个5秒的记忆窗口装不下长程语义,而精细的声画同步又需要逐帧细节。WorldSonus把视觉条件拆成两条路:冻结的DINOv3把每帧编码成patch网格并拼上帧差图捕捉运动,每帧聚成1个token;一条路把3个帧token再聚成1个块级语义token送进AR骨干,管长程连贯,只占1个token的显存;另一路让3个帧对齐token绕过骨干、直接喂给flow head,管音画同步的细粒度渲染。长程规划与局部渲染就此解耦。
3. 训练期对齐蒸馏ShiftNCE与中途提示词控制
问题是因果流式天然容易音画错位,而推理时挂一个同步检测器又要添延迟。WorldSonus把Synchformer当训练期老师:用对比学习把对齐能力蒸馏进生成器,正样本是时间对齐的窗口,负样本是同一视频错开若干块的窗口,推理时零开销。消融显示,去掉ShiftNCE后DeSync从0.831恶化到1.067。提示词侧,T5Gemma 2把指令压成token集,经cross-attention缓存条件骨干;中途换词只在最近的块边界原地替换这份缓存,Ring-KV和已有视听状态都不动。训练时特意加入中途切换、删除提示词的时变调度,模型才学得会这种无缝转场。
实验结果
音频质量:五档FAD全面第一
五档held-out测试集:VGGSound两档(5s/10s,各4096条)与交互式视频三档(5s/10s各4096条、30s共1024条,含动态机位的游戏与实拍)。FAD(越低越好):
| 1.73 | |||||
| 1.79 | |||||
| 2.68 | |||||
| 2.62 | |||||
| 2.03 |
KL散度(KLP)同样五档全胜(1.22~1.48),立体声分布质量S-FD_O五档全胜(25.44~45.40,最好的基线也在83以上)。注意对比条件不对等:三个双向基线看得到整段视频,WorldSonus只看过去和当前帧。
空间对齐:左右声道跟得住
BiasSkill衡量生成音频与参考音频在1s窗口内是否偏向同一侧声道:
| 4.42 | 6.03 | 15.90 |
两段交互式视频:海滩浪花在画面左侧、卡车从右侧驶过。WorldSonus的左右声道频谱与带符号能量平衡曲线跟随真实声源方位,三个双向基线要么方向感弱、要么不稳定。
长程稳定性与中途控制
连续生成会不会崩?在1024条Interactive 30s上对比两种测法:直接生成最后5s窗口,与从一条不间断30s流里取出同一窗口。FAD 2.63对2.51、DeSync 0.880对0.827,滚动生成的尾部反而略好——5秒Ring-KV窗口下长程无漂移、无崩塌。
中途换词是否真的听得出区别?双盲相对匹配率(两段音频各自配自己的提示词被偏好的比率):WorldSonus在VGG10s/Inter10s拿到25.68%/23.44%,全部基线只有11.99%~16.16%。配对切换实验的切换增益G为+0.051(VGG10s)与+0.053(Inter10s),95%置信区间半宽只有0.004。交互更新瞬间,单块延迟从41.2ms升到45.28ms(p50)/47.40ms(p95),仍在实时线内。
20名受试者对40条Interactive 10s做400对盲评:(a)空间对齐(b)时间对齐(c)语义对齐(d)总体偏好。WorldSonus对全部三个生成基线四项全胜,总体偏好分别为58.8%(对AudioX)、80.0%(对ThinkSound)、65.0%(对PrismAudio),但对真实音频仍处劣势。
另一面:起音检测没赢
在无模型的Greatest Hits物理碰撞起音基准上,WorldSonus三项都不占优:Acc 0.803(AudioX 0.858最高)、F1 0.785(PrismAudio 0.808最高)、AP 0.871(PrismAudio 0.906最高)。消融还显示,去掉ShiftNCE后这项崩得最狠(Acc掉到0.678)——ShiftNCE把同步从1.067拉回0.831,但也只拉回到"够用",没追上直接在Synchformer特征上训练的双向模型。
论文的用户研究界面:受试者对同一段10s立体声视频在A/B两个音轨间盲选,并按空间对齐、时间同步、语义对齐、总体偏好四维打分。
局限与未来方向
首先,DeSync全面输给双向模型(VGG5s 0.686对ThinkSound 0.481),起音检测三项全败,这是因果流式设计的直接代价——看不到未来,就只能用5秒历史去赌起音时机。
其次,指标口径有前提:RTF0.41是单卡H100实测,论文未披露参数量(只有36层/宽1024/16头的架构配置),消费级显卡上的速度不能直接套用这个数字。
此外,作者自述两条硬上限:冻结的因果立体声VAE重建质量低于非因果版本,构成生成质量的天花板;高质量立体声数据仍然稀缺,很多公开立体声视频的左右声道是人工分离的,并不反映真实声源方位。
结论
WorldSonus验证了一件事:bounded-memory的因果生成可以同时拿到实时速度、空间立体声和不掉队的音质,世界模型的"听觉"从离线后期正式进入流式实时。
对于做世界模型和游戏引擎的团队,4.12GB权重可以直接拉下来试流式配音,但注意DINOv3与T5Gemma 2两个编码器要单独接受条款,实操可能卡在鉴权;对于内容创作者,它还不是即插即用的工具,没有商用授权,也没有消费级实测数据。
声音是世界模型最后一块拼图里最便宜的一块,也是最容易被忽略的一块——直到你戴上耳机才发现,哑巴世界再逼真也出不了戏。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论