底焊乖粕分辨率是AIGC的阵痛1.1 算力的三次方诅咒分辨率对计算资源的吞噬是非线性的像素维度分辨率×2 → 像素数×4Attention维度序列长度×4 → 计算量×16O(N2)内存维度激活值×4 → 显存占用×4中间状态爆炸综合效应分辨率×2 → 总成本×64。这意味着512×512到1024×1024不是两倍工作量而是64倍。1.2 数据的沙漠LAION-5B的统计真相短边512像素的图像87%短边1024像素的图像98%短边2048像素的图像0.3%高分辨率图像不仅少而且分布偏移。4K照片的拍摄设备、构图习惯、后期处理流程与手机快照完全不同。模型在512×512上学习到的世界知识在4K上可能完全失效。1.3 频率的牢笼奈奎斯特采样定理在深度学习中的残酷映射训练分辨率决定了模型能学习的最高频率。512×512的模型其latent空间通常是64×64。这意味着任何小于8像素的细节都无法被表达——不是模糊是根本不存在。模型从未见过更细的纹理它不知道毛孔应该长什么样。1.4 第一个核心困局训练分辨率是模型认知的光速上限推理分辨率是用户需求的超光速幻想。所有架构演化都是在这个物理限制下的工程妥协。SD1.5U-Net的困境只能打补丁了。2022“第一次把扩散模型带到可用的工业级质量”2.1 架构的先天残疾SD1.5的U-Net架构有三个致命设计Receptive Field的硬边界U-Net的encoder-decoder结构下采样到8×8时每个特征点理论上能看到64×64的原始区域。但对于2048×2048的图像64×64只是3%的画面。模型根本看不见全局只能凭统计规律猜测。Latent的密度陷阱KL-VAE将512×512压缩到64×64×4每个latent向量负责8×8像素的重建。这意味着纹理可学习重复模式结构可学习大尺度形状精确几何不可学习亚像素级定位Attention的局部性U-Net的self-attention只在同分辨率特征图内进行跨尺度的信息融合依赖skip connection的通道拼接。这种层次化而非全局化的设计让SD1.5擅长画得像不擅长画得对。2.2 推理端的绝望补救面对用户的4K需求SD1.5只能诉事后工程方案A插值——数学的暴力双三次插值将64×64 latent拉到256×256再解码。新像素完全由卷积核权重决定零语义理解。结果建筑线条弯曲文字无法辨认人脸变成橡皮泥。方案B超分网络——幻觉的代价ESRGAN作为后置处理器用对抗学习编造高频细节。结果砖墙纹理逼真但重复皮肤毛孔存在但位置错误统计上合理物理上荒谬。方案CTiled生成——一致性的献祭将4K画布切成16个512×512 tiles独立生成切片堆叠。结果每个tile质量完美拼接处光照突变人物长出四个耳朵。2.3 SD1.5的本质 verdictSD1.5从未理解过高分辨率它只是用低分辨率的认知通过工程技巧伪装成高分辨率。这种伪装在自然风景低频主导可接受人脸特写结构敏感崩坏文字排版精确几何灾难新困局产生U-Net的局部性无法突破必须换架构。VAE的一致性也是崩坏的。所以 SD1.5 的高分辨率不是“生成”而是“插值 幻觉”。SDXL分工的艺术2023补上了 SD1.5 在“高频细节”和“结构一致性”上的缺口3.1 架构层面的第一次革命SDXL没有抛弃U-Net但做了结构性分工更密的Latent空间从64×64提升到更精细的表征实际实现为更高效的VAE压缩每个latent向量负责的像素区域减小频率上限提升约40%。这不是简单的放大latent而是重新训练VAE让编码器学习更高效的语义压缩——用同样的比特数表达更多信息。Base Refiner的双阶段流水线核心洞察结构和纹理是不同频率的现象应该用不同模型处理。Base模型U-Net在相对低分辨率下运行负责构图、语义、大尺度结构Refiner模型另一个U-Net接收Base的输出作为条件负责高频细节、纹理、局部对比度这类似于传统图像处理中的拉普拉斯金字塔Base处理低频Refiner处理高频残差。原生1024与可外推性SDXL的训练分辨率达到1024×1024且通过改进的位置编码插值型可以外推到2048×2048仍保持可用质量。3.2 为什么分工有效从信号处理视角SDXL的分解是频率解耦图像 低频结构可压缩 高频细节可预测↓ ↓Base模型 Refiner模型全局理解 局部生成Base只需要知道画面有张脸Refiner负责画出毛孔。这种解耦让Base的attention负担减轻分辨率固定Refiner的生成空间受限已有结构指导幻觉减少3.3 SDXL的新边界仍然无法突破的墙U-Net的receptive field问题依旧只是被Refiner部分缓解两阶段串行推理时间×2外推到4K时Refiner的局部性导致细节与结构脱节如头发丝漂浮在空中新困局产生U-Net的局部性是天生的必须彻底换架构。FLUXTransformer的全局视野2024补上了 U-Net 架构无法突破的“全局视野”缺口4.1 为什么必须是DiTFLUX的架构切换U-Net → DiT不是追热点而是物理必然Attention的全局性DiT的self-attention是全连接的每个patch能看见所有其他patch。对于2048×2048的图像256×256 patches这意味着任意两点间的信息传递只需一层。对比U-Net信息从左上角传到右下角需要经过4次下采样-上采样循环每次都有信息损失。Scaling的友好性Transformer的性能随计算量可预测提升scaling law。U-Net的卷积结构在达到一定深度后收益递减而DiT可以通过增加层数、头数、维度持续改进。位置编码的外推性FLUX采用RoPE旋转位置编码其设计本质是相对位置编码。这使得训练时模型学习的是距离为k的 patches 如何交互推理时任意距离的交互都遵循同一函数自然外推4.2 FLUX的三重突破更密的Latent相比SDXLFLUX的latent空间进一步压缩效率提升在同等计算预算下能表达更高频率。单阶段端到端不再需要SDXL的BaseRefiner分工单个DiT同时处理结构和细节。这得益于attention的全局性——模型自己学会了在需要时关注全局在需要时聚焦局部。Tiled生成的质变FLUX的tiled效果远超SDXL因为边界patch的attention可以看到相邻tile的上下文若实现为 overlapping attention光照、风格的统计特性由全局attention隐式约束无需显式同步4.3 FLUX的物理极限Attention2的诅咒依旧DiT解决了U-Net的局部性但没有解决计算复杂度。2048×2048的图像在latent空间为256×256attention矩阵大小为65536×65536单精度存储需16GB计算不可行。单尺度的频率天花板FLUX仍然是单尺度latent。虽然比SDXL更密但固定的压缩比意味着频率上限固定。想要真正的4K细节必须接受更大的latent进而触发显存爆炸。新困局产生全局性有了但算力不够想要更密latent但内存不够。需要更高效的注意力或多尺度架构。Z-Image轻量与多尺度的平衡2024-2025“成本、速度、落地”5.1 阿里的工程判断Z-Image的设计哲学与FLUX不同不是更大更强而是刚好够用极致高效。这是基于阿里云的产品场景淘宝商品图需要1024-2048但要求结构稳定不能变形、推理快速实时生成钉钉文档插图需要轻量部署通义APP需要低功耗5.2 架构层面的创新轻量DiT比FLUX更少的层数、更小的维度浅层宽attention捕获全局深层窄attentionMLP细化局部这种异构设计让同样计算量下有效receptive field更大。多尺度特征融合核心创新Z-Image不依赖单尺度latent而是在DiT内部显式维护多分辨率特征输入图像 → 多尺度编码1×, 1/2×, 1/4×, 1/8×↓跨尺度attention每个尺度能看到其他尺度↓渐进式上采样 特征融合↓输出这类似于传统计算机视觉中的图像金字塔但完全可学习、端到端训练。效果高频从1×尺度获取结构从1/8×尺度获取一致性跨尺度attention保证高效注意力变体采用局部-全局混合attention局部窗口计算密集型但O(N)复杂度全局token可学习的汇总token数量固定如64个与图像尺寸无关这让Z-Image的显存占用与分辨率线性相关而非平方相关。5.3 Z-Image的定位维度 Z-Image FLUX SDXL设计目标 产品落地 质量极限 工业稳定架构 轻量异构DiT 标准DiT U-Net分工多尺度 显式融合 隐式单尺度 两阶段分工Attention 局部-全局混合 标准全局 局部层次外推能力 强2K-4K 很强4K 弱2K推理速度 最快 中等 最慢双阶段工程成本 最低 高 中适用场景 实时生成 专业创作 传统工业5.4 Z-Image的妥协为了效率牺牲的质量极端复杂场景如拥挤街道的全局一致性弱于FLUX最高频率细节如毛发、织物纹理不如FLUX真实艺术性、创造力略逊于大规模DiT但这是正确的工程选择对于90%的商业场景90分质量、100分速度比100分质量、50分速度更有价值。位置编码演化的总览除了主要架构的变化之外还有语义模块位置编码的演化。因为位置编码的演化就是 AIGC 模型空间认知能力的演化。SD1.5 靠卷积“猜位置”SDXL 开始显式编码位置FLUX 建立了可外推的全局坐标系而 Z-Image 则在工程成本下构建了多尺度的高效位置体系。高分辨率生成的突破不仅来自更大的模型或更强的 attention更来自“模型终于知道自己在画布的哪里”。代际 架构 空间位置编码 时间位置编码 文本位置编码 特点SD1.5 U-Net 无显式 2D PE卷积隐式 sin-cos CLIP 1D 局部性强无法外推SDXL U-Net 显式 2D sin-cos sin-cos 双编码器 1D 多尺度增强但仍局部主导FLUX DiT 2D RoPE可外推 RoPE/sin-cos Transformer 1D 真正的全局坐标系Z-Image 轻量 DiT 多尺度 局部相对 全局抽象 sin-cos Transformer 1D 工程最优线性成本回顾四代架构SD1.5U-Net证明了扩散模型可行但暴露了局部性局限SDXLU-Net分工用工程分工绕过局限但复杂度爆炸FLUXDiT用Transformer解决局部性但算力瓶颈显现Z-Image轻量DiT多尺度用效率优化平衡质量与成本每一步都不是更好的简单替代而是在约束条件下的当前最优。SD1.5低算力时代的最优SDXL高频细节的最优FLUX全局一致性的最优Z-Image成本与落地性的最优这或许是AI工程化的终极真理没有最好的架构只有最合适的架构。把一些成熟的传统算法适配到现有的模型架构里去永远不会过时。之所以说传统算法永不过时并不是怀旧而是工程现实。无论模型架构如何迭代分辨率、算力、频率上限这些物理约束始终横在那里——它们不会因为你换了 U?Net、换了 DiT、换了多尺度结构就自动消失。而传统算法恰恰能在这些“结构性短板”上提供一种稳定、可控、可解释的补偿路径不依赖大规模数据不受模型形态限制却能在关键环节把模型无法表达的细节补回来。基于这样的判断博主开始尝试把传统图像处理重新嵌入到现代 AIGC 推理链路中探索一种不依赖重训、不依赖超分、却能真正吃下高分辨率的方案。这条路并不轻松但确实走通了。为了让模型在高分辨率下保持结构稳定、细节可信博主实现了一套纯传统算法的分辨率适配方案可以作为插件无缝接入各种开源模型架构。虽然还不够完美但已经证明这条路线是可行的而且潜力巨大。例如 GFPGAN 的原生分辨率只有 512×512但通过这套方案不需要超分、不需要重训就能稳定支持 4K 人脸修复质量和成本都在可控范围内。facefusion LivePortrait 等模型同样能直接受益。在训练场景下它可以作为结构先验在推理场景下它可以作为轻量插件。理论上再做一次二次微调效果会更进一步。这套方案也可以写成纯 C 的算法库部署到移动端只是工作量巨大目前精力有限还没完全落地。但方向是明确的传统算法与现代模型的结合仍然有很大的工程空间。一起努力吧。博主之前为了把推理性能压榨到极限也做了不少“苦活”.特别是把移植到TF,然后用TF写个猥琐发育的Chunked Flash Attention in Keras那时Flash Attention 还没发布而TF这个版本也是后来整理开源了毕竟我已经抛弃TensorFlow/Keras转投PyTorch了。SD1.5 时代为了推理速度和显存压到极限博主做了很多“优化”(苦活)TO C 性价比为王:权重预计算减少重复计算Flash Attention降低 attention 显存FP16/INT8 量化端侧可运行跨框架迁移TF ? Torch ? ONNX ? TFLite端侧蒸馏 Encoder实现 1 秒级推理多模型并行部署显存复用后来回到广东给某游戏大厂做了大量游戏场景的定制化 LoRA彻底拥抱 PyTorch。TO B 质量为王超高分辨率 显存要挤到极限干净的脏 素材细节要求极高高保真生成 设定一致性必须严格语义可控 小数据训练泛化性不能丢但无论 TO C 还是 TO B问题本质都一样算法研发就是用小资源干大事。在这之间有些算法做出来了但没开源。后来大厂开源了他们的版本打法粗暴一地鸡毛。但无可厚非毕竟这些年博主从开源项目中也学到了不少。只是在那时就意识到不跟大厂硬钢 → 拿不到资源跟在大厂后面 → 肉汤喝不到锅还被砸也是下了决心选择了裸辞。不再关注战场发生什么只问自己我想做什么想达成什么。现在回头看选择是对的但路还很长还得继续推进。