阿里通义实验室联合港科大等提出 latent-to-pixel 策略,让 6B 像素空间扩散模型在 H800 上约 0.2 秒生成 1024 图像,端到端推理加速 3.18 至 4.75 倍。内容涵盖预训练对比、五项后训练设计与基准表现,适合关注文生图效率与扩散模型训练的研究和工程人员阅读。
Tags:VAE解码慢、细节丢失多?阿里团队用一套“潜空间预训练→像素空间后训练”的实用配方,让6B模型0.2秒直接输出高清图像。
扩散模型该在潜空间训练还是像素空间训练?这个问题看似基础,却一直没有大规模、系统性的答案。阿里巴巴通义实验室联合香港科技大学、南京大学和UCSD,以Z-Image架构为控制变量,完成了迄今最大规模的像素空间扩散模型训练实证研究。核心发现是:在超过200亿图文对的大规模预训练中,像素空间的收敛速度显著慢于潜空间——因为VAE本质上充当了一个“学习到的视觉压缩器”,为扩散模型提供了更简洁的分布学习目标。
基于这一发现,团队提出“latent-to-pixel”策略:在潜空间高效获取生成先验,在后训练阶段迁移到像素空间,并系统研究了权重初始化、数据组成、预测目标、解码器架构和噪声调度五大设计选择。最终产出的像素空间模型在GenEval和DPG等基准上匹配甚至超越潜空间模型,同时实现3.18至4.75倍的端到端推理加速,Z-Image-Turbo(Pixel)在H800上仅需约0.2秒生成一张图。
相关链接
论文:https://arxiv.org/abs/2608.16887 仓库:https://github.com/Tongyi-MAI/Z-Image 开源机构:阿里巴巴通义实验室、香港科技大学、南京大学、加州大学圣地亚哥分校
内容介绍
潜空间扩散模型(LDM)已经是文生图的事实标准,从Stable Diffusion到FLUX、Seedream均采用这一范式。但它有一个绕不开的瓶颈:VAE。VAE负责把像素压缩到潜空间以降低计算量,但这个压缩过程本身会丢弃高频细节,而且推理时必须先完成去噪再经过VAE解码才能得到最终图像——多一步解码,就多一层延迟。
像素空间扩散是绕开这一瓶颈的直球方案:直接在RGB像素上做去噪,不需要VAE,图像生成即输出。但此前的研究大多停留在ImageNet类别条件生成或小规模文生图,大规模文生图场景下的像素空间训练配方几乎空白。
这篇论文要回答的就是这个空白问题:在受控的大规模预训练条件下,像素空间和潜空间到底差在哪?能不能通过一套系统的后训练策略让像素空间模型追平甚至反超潜空间?
论文的核心贡献可以概括为:
首个大规模受控对比:以Z-Image为统一架构,在相同数据、算力和训练配置下,量化对比像素空间与潜空间的收敛效率差异;
五项设计选择的系统研究:权重初始化、数据组成、预测目标、解码器架构、噪声调度,逐一给出实证结论;
可推广的实用配方:配合渐进式patch size适配和步数蒸馏,在Z-Image和FLUX2-klein两个模型家族上均验证有效。
方法概述
展示训练迭代过程中定性样本的图像。该潜在空间模型在预训练过程中始终表现出更快的图像结构学习速度以及更优的最终图像质量。
整个方法的逻辑链条非常清晰:先诊断问题,再给出处方。
像素空间预训练为什么慢?
团队用完全相同的架构、数据和算力,只改变预测空间,训练了潜空间和像素空间两个版本。结果非常明确:潜空间模型在训练早期就快速学会了基本物体结构和图文对齐,而像素空间模型始终落后,在同等算力预算下无法缩小差距。
原因在于VAE不仅仅是压缩器,它同时是一个在大规模图像数据上学习到的、感知结构化的紧凑表示。它抑制了局部冗余和高频变化,同时保留了语义相关信息。这让扩散模型需要学习的分布被大幅简化了。而像素空间模型必须同时从高维原始信号中学习全局结构、局部统计和去噪——三个任务叠在一起,优化负担重得多。
latent-to-pixel迁移策略
基于预训练潜在空间模型初始化的像素空间训练,其收敛速度显著快于从零开始的训练。
针对训练数据选择的定性比较。仅使用源潜在模型生成的数据进行训练,可能会保留源模型固有的伪影;而混合高质量真实图像则能提供直接的像素级监督,从而改善这些细节。
既然像素空间从零预训练不划算,那就不在像素空间预训练。策略是:先在潜空间完成大规模预训练,然后在后训练阶段迁移到像素空间。
这五个设计选择是:
权重初始化:直接用预训练好的潜空间模型权重初始化像素空间模型,而不是随机初始化。
数据组成:这是一个有实践价值的发现。只用真实图像训像素空间模型,收敛很慢;只用源模型自生成的样本,收敛快但会继承源模型的瑕疵(比如文字扭曲)。两者混合效果最好——自生成样本提供低分布偏移的过渡桥梁,真实图像监督则修正VAE压缩丢失的信息和继承的伪影。
预测目标:像素空间后训练中,保留原有的x-prediction还是切换到v-prediction?实验结论是v-prediction在所有基准上持续更优,潜空间初始化的稳定性使得两种目标都能收敛,但v-prediction的最终性能更好。
解码器架构:这部分团队设计了专门的解码器结构来匹配像素空间输出的特性。
噪声调度:从潜空间迁移到像素空间时,噪声尺度不能简单地按分辨率推导,必须经验校准。理论上SNR匹配给出的参考值是8,但实验发现设置为2时GenEval和DPG都达到最佳,设为1、4、8都会出现明显的色彩偏移。
渐进式patch适配 + 步数蒸馏
在迁移完成后,团队进一步通过渐进式patch size适配提升效率。直接使用大patch(如ps32)会同时改变预测空间和token网格粒度,导致收敛慢且出现局部伪影。正确做法是先在ps16完成潜空间到像素空间的迁移,再适配到ps32,这样token数减少4倍的同时保持了视觉先验的平滑迁移。
配合步数蒸馏,最终模型实现了3.18至4.75倍的端到端推理加速。
实验结果
不同噪声尺度的定性比较。噪声尺度 1、4 和 8 呈现出明显的色彩偏移,而噪声尺度 2 则能产生更均衡的色彩还原。
针对图块尺寸(patch-size)适应性的定性比较。直接进行 ps32 训练会引入局部伪影。从 ps16 适应到 ps32 可保留这些细节,而一步适应至 ps64 则会再次引入伪影。
解码器设计对比。推理延迟和 GFLOPs 数据基于单张 H800 GPU 上生成 1024 × 1024 图像的纯解码器(decoder-only)推理过程测得。各行中的最优和次优结果分别以加粗和加下划线形式标出。
像素空间模型与潜在空间模型在各项基准测试中的性能对比。图像生成采用原始基准测试提示词,而非提示词增强(PE)变体。推理延迟是在单张 H800 GPU 上、不进行任何系统级优化的前提下,针对 1024 × 1024 图像测得的。
在单张 NVIDIA H100 GPU 上,针对 1024 × 1024 图像的端到端推理延迟(秒),且未采用 FlashAttention 等任何系统级优化。
结论
本文系统地研究了大规模像素空间文本生成图像扩散模型,发现直接在像素空间进行预训练的收敛速度远慢于在潜在空间(latent space)的预训练。这一发现促使我们采用一种“从潜在空间到像素空间”的策略:先在潜在空间高效获取生成先验,随后在后训练(post-training)阶段将模型适配至像素空间。通过分析实现这一转换过程中的关键设计选择,我们提出了一套实用的方法方案;该方案在两个模型系列的大多数基准测试中均优于以往的同类方法,同时保持了与纯潜在空间模型相当的性能,并将端到端推理速度提升了 3.18 到 4.75 倍。这些研究结果为实现可扩展、高质量且高效的像素空间扩散模型提供了实践指导。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论