香港中文大学(深圳)与LIGHTSPEED开源Ex-Omni-2D全模态对话模型,可一体化生成文本、个性化语音和同步数字人视频。代码、模型权重与在线Demo全面开放,适合AI数字人、虚拟交互与内容创作场景。
Tags:AI能听懂、能说话,但你看不见它——这种“隐身”的对话体验,正在被港中深团队打破。Ex-Omni-2D让全模态对话模型拥有了属于自己的数字人形象。
全模态对话模型近年来取得了飞速进展,能够理解语音、文本和视觉输入并生成自然的语音回复。然而,一个根本性问题始终存在:语音回复在视觉上是“缺席”的——用户听到声音,却看不到一个与之对话的、具有外观、情感和动作的具身化Agent。现有的说话数字人模型虽然能生成高质量的视频,但其视觉行为通常由完整的语音波形和外部手动准备的提示驱动,而非从对话状态中自然涌现。
香港中文大学(深圳)与LIGHTSPEED联合提出的Ex-Omni-2D,从“对话原生视频响应”的视角切入,通过结构化视觉思维规划(VTP)和多码本语音单元共享接口,首次让全模态对话模型在生成文本和个性化语音的同时,输出与对话内容同步的数字人视频。更关键的是,通过Prefix Streaming蒸馏技术,该方法在4步推理下实现了端到端实时因子1.293的流式生成能力。代码、模型权重和在线Demo均已全面开源。
相关链接
论文:https://arxiv.org/abs/2608.10720 主页:https://logo-cuhksz.github.io/Ex-Omni-2D 仓库:https://github.com/LOGO-CUHKSZ/Ex-Omni-2D-Code 模型:https://huggingface.co/lemonade666/Ex-Omni-2D 试用:https://lemonade666-ex-omni-2d-zerogpu.hf.space 开源机构:香港中文大学(深圳) & LIGHTSPEED
内容介绍
全模态对话系统已经能够理解语音、文本和视觉输入,并以自然的口语回复用户。但对于许多交互场景而言,语音回复只是响应的一部分——用户还期待看到一个可见的对话Agent,其外观、情感和动作能够与当前对话相匹配。
现有的说话数字人(talking avatar)模型虽然能从语音和视觉参考中驱动人物动画,但它们本身并不适合直接用于对话场景:视觉行为通常由完整的语音波形控制,且需要外部准备的辅助提示,而不是从对话状态中推导出来的。联合音视频生成方法提供了更紧密的模态耦合,但本质上是提示驱动或参考驱动的内容生成器,同样缺失一个关键的接口——让对话模型同时决定“说什么”和“说话时看起来什么样” 。
Ex-Omni-2D正是为了解决这一“视觉缺席”问题而提出的。给定一个多模态查询、一张参考图像和一段参考音频,系统能够生成协调一致的响应:包括回复文本、个性化语音,以及一段与语音同步的参考说话人视频。
该工作的核心贡献可以概括为:
对话原生的视频响应:视觉行为从当前多模态对话中规划,而非由外部手动提示提供;
视觉思维规划(VTP) :以结构化方式显式表示场景、情感、动作风格和运动细节;
共享语音单元接口:同一组生成的多码本语音单元同时驱动个性化语音合成和帧对齐的数字人动画;
质量与效率双模式:全序列Teacher追求视觉质量,蒸馏后的Streaming Student支持2/4/8步流式推理。
方法概述
Ex-Omni-2D的框架围绕两个轻量级中间接口展开:结构化视觉思维规划(VTP) 传递高层视觉意图,原生多码本语音单元提供语音和视频生成共享的声学内容和时序信息。
视觉思维规划(VTP)
VTP是Ex-Omni-2D的核心设计之一。它是一个结构化的规划表示,记录了数字人视频生成所需的场景、情感、动作风格和运动细节。与传统的“文本提示”不同,VTP是从对话上下文中自动推断出来的——LLM根据当前多模态对话的语义,生成一个结构化的视觉意图描述,从而指导后续的视频生成。
消融实验表明,使用响应特定的VTP(而非固定的中性规划)能够显著提升主体一致性(SC)和口型同步置信度(Sync-C)。
多码本语音单元共享接口
Ex-Omni-2D使用16个码本生成个性化语音,这些语音单元同时被解码为音频并与视频帧对齐。这一设计的关键意义在于:它为语音和视频模块提供了一个共享的声学-时间接口,使得响应通路和数字人通路能够从异构的语音、对话和数字人视频数据中独立学习,从而避免了对大规模“查询-文本-语音-视频”全配对监督数据的需求。
Teacher-Student蒸馏与Prefix Streaming 视频生成模块首先作为全序列Teacher进行训练,以参考外观、VTP语义和帧对齐语音单元为条件生成高质量视频。为了实现高效的增量部署,研究者进一步将其蒸馏为少步块因果的Streaming Student。
Streaming Student的核心机制是Prefix Streaming:将前一个块的干净隐变量传递到下一个块,以减少后期块中累积的主体漂移问题。该Student模型支持2步、4步和8步推理,提供了灵活的质量-效率权衡。
实验结果
团队通过大量定性、定量实验与消融测试,验证了 Ex-Omni-2D 的极致性能,全面优于传统拼接式数字人方案:
音画同步精度拉满:依托统一语音时序接口,全程实现毫秒级帧音对齐,口型匹配度、动作连贯性远超传统分步生成方案,无卡顿、无错位、无滞后问题。 长时序稳定性优异:独创前缀流式机制,有效抑制长视频生成中的人脸变形、特征漂移问题,在16段长时序测试中,首尾画面一致性误差降低21.4%,长效生成更稳定。 情绪与语义高度契合:凭借 VTP 视觉规划能力,模型可根据对话内容自主切换开心、严肃、专注等情绪状态,动作自然灵动,摆脱传统数字人机械僵硬的通病。 性能与效率兼顾:教师模型保障影视级生成画质,学生模型实现低延迟流式推理,兼顾专业内容生成与实时交互双重场景需求,落地适配性极强。
结论
Ex-Omni-2D 突破了传统全模态对话模型“重语言、轻视觉”的固有局限,以语义规划+时序对齐+双模式推理的创新方案,实现了文本、个性化语音、动态人像视频的原生一体化生成。它彻底摒弃了落后的拼接式数字人制作方案,解决了音画不同步、动作僵硬、长时失真、视觉缺席等核心痛点。完整开源的代码、模型权重与在线演示,让高效、高质、沉浸式的 AI 数字人交互快速落地,为虚拟交互、内容创作、智能服务领域提供了全新的开源解决方案。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论