Wenbin Wu的个人小站
type: channel
link: https://wuwenbinsights.com/
description: Wenbin Wu的个人小站
items: ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation
items: Flash Diffusion: Accelerating Any Conditional Diffusion Model for Few Steps Image Generation
items: Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack
items: InstructPix2Pix: Learning to Follow Image Editing Instructions
items: Prompt-to-prompt image editing with cross attention control
items: 优秀博客汇总
items: Diffusion Reading Summary

ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation
type: item
date: 2025-04-21T21:27:00+08:00
description: Paper: https://arxiv.org/abs/2304.05977Code: https://github.com/THUDM/ImageReward1. Introduction由于预训练的分布嘈杂且与实际用户提示的分布存在差异，现有的文生图模型的生成结果还难以做到和人类偏好的对齐。这种固有的不一致性导致了多个问题，包括但不限于：图文一致性：未能准确呈现文本提示中描述的所有数字、属性、特征和对象之间的关系。肢体问题：呈现畸形、不完整、重复或异常的身体部位（如四肢）。人类审美：偏离平均或主流人类审美风格有害性和偏见：包含有害、暴力、性别、歧视、非法或引起心理不适的内容。下图展示了部分问题示例图：这些普遍存在的问题仅仅通过改进模型架构和预训练数据难以有效解决。在 NLP 领域，研究人员已采用来自人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导 LLM 趋向于人类的偏好和价值观。该方法依赖于学习一个奖励模型（Reward Model，RM），通过大量专家标注的模型输出对比来捕捉人类偏好。尽管该方法有效，但标注过程可能既昂贵又具有挑战性，因为它需要数月的努力来建立标注标准、招募和培训专家、验证响应，并最终生成奖励模型。为了解决这些问题，论文期望通过人类偏好反馈来学习和改进文本生成图像模型。首先，作者们构建了ImageReward——第一个通用的文本生成图像人类偏好奖励模型——以有效地编码人类偏好。ImageReward 基于作者们系统的标注流程进行训练，至今已收集了 137k 个包括评分和排名的专家比较结果。在人类评估中，ImageReward 优于现有的评分模型和度量标准，使其成为评估文本生成图像合成的一个有前景的自动化度量。基于 ImageReward 模型，作者们提出了奖励反馈学习（Reward Feedback Learning，ReFL），一种用于优化扩散模型的评分器直接调优算法。自动化和人工评估都证明 ReFL 相对于其他方法的具备一定的优势。2. ImageReward: Learning to Score and Evaluate Human PreferencesImageReward 是通过一个系统化的流程构建而成的，该流程涉及数据收集和专家的人工标注。基于该流程，作者们实现了奖励模型（RM）训练并衍生出了 ImageReward。2.1 Annotation Pipeline Design2.1.1 Prompt Selection and Image CollectionImageReward 的数据集使用了来自 DiffusionDB（一个开源数据集）中的多样化的真实用户的 Prompt。为了确保所选 Prompt 的多样性，作者们采用了一种基于图的算法，其基于语言模型的提示相似度对 Prompt 进行筛选。经过筛选，最终得到了 10000 个候选 Prompt，每个 Prompt 附带 4 到 9 张来自 DiffusionDB 的采样图像，共计 177304 对候选图文对供标注使用。训练人类偏好奖励模型（RM）需要一个多样化的 Prompt 分布，以覆盖和代表用户的真实使用情况。DiffusionDB 包含 180 万个 Prompts，远超本文计划标注的数量。为了确保所选提示在主题分布上的多样性和代表性，本文采用了 该论文 中介绍的类似方法进行候选 Prompts 的筛选。在基于图的选择过程中，每个 Prompt 通过 Sentence-BERT 计算得到一个向量表示。然后，构建一个图，将表示的样本作为顶点，每个顶点与 k 个最近邻连接，其中 k 是算法中的超参数，经过实验发现 k = 150 表现良好。两个顶点之间的距离是它们表示的余弦相似度。构建图后，作者们为每个顶点计算一个得分，得分与尚未选择的邻居数目相关。顶点的选择基于计算得分，得分会在每次选择后重复计算，直到达到所需的数量。需要注意的是，算法的复杂度是样本数量的平方级别。为了计算的可行性和效率，本文将所有提示分成 100 组，每组约包含 2 万个提示。作者们使用该方法从每组中选择 100 个提示，最终获得 10k 个提示用于标注。2.1.2 Human Annotation DesignImageReward 的标注流程包括两个阶段：Prompt 标注阶段，其中包括对 Prompt 的分类和问题 Prompt 的识别Text-Image 评分阶段，在该阶段中，标注员根据图文一致性、保真度和无害性三个方面对图像进行评分和排序。为了处理排名中的潜在矛盾，作者们在标注文档中提供了权衡（完整文档附在附录 B 中），更多的标注细节可以参考附录中的 A.2、A.3 和…

Flash Diffusion: Accelerating Any Conditional Diffusion Model for Few Steps Image Generation
type: item
date: 2025-04-14T21:51:00+08:00
description: Project Page: https://gojasper.github.io/flash-diffusion-projectPaper: https://arxiv.org/abs/2406.02347Code: https://github.com/gojasper/flash-diffusion1. Introduction本文提出了一个高效、快速且通用的蒸馏方案用于加速预训练Diffusion Models的生成过程：Flash Diffusion。Flash Diffusion能够在大幅减少采样步骤数量的同时，仍然保持极高的图像生成质量。Flash Diffusion旨在训练一个学生模型，使其能够在一步内预测出教师模型在多个步骤下对受扰输入样本的去噪结果。此外，Flash Diffusion通过对抗性目标将学生模型的分布引导至真实输入样本的流形上，同时通过分布匹配机制，确保学生模型不会过度偏离已学习的教师分布。下图展示了Flash Diffusion生成结果：Flash Diffusion不仅适用于特定的任务（如文本到图像），其在多种任务（如文本到图像、图像修复、超分辨率、面部交换等）和不同扩散模型架构（如基于UNet的去噪器或DiT（Pixart-α）以及适配器）的情况下都具有适用性：2. Method2.1 Background on Diffusion Models令$x_0 \in \mathcal{X}$是一个数据集合，满足$x_0 \sim p\left(x_0\right)$，其中$p\left(x_0\right)$是一个未知分布。扩散模型（Diffusion Models，DM）的主要思想是估计添加到输入样本$x_0$中噪声$\varepsilon$的量，该噪声是通过前向过程人为加入的，公式为：$x_t=\alpha(t) \cdot x_0+\sigma(t) \cdot \varepsilon$ ，其中$\varepsilon \sim \mathcal{N}(0, \mathbf{I})$。噪声的添加过程由两个可微函数函数$\alpha(t)$和$\sigma(t)$控制，其适用于任意$t\in \left[0,T\right]$，并且满足信噪比对数$\log \left[\alpha(t)^2 / \sigma(t)^2\right]$随时间递减。在实际训练过程中，DM会学习一个参数化函数$\varepsilon_\theta$，该函数以时间步$t$为条件、以带噪样本$x_t$为输入，输出噪声估计值。参数$\theta$通过Denoising Score Matching学习。$$ \begin{equation}\tag{1} \mathcal{L}=\mathbb{E}_{x_0 \sim p, t \sim \pi, \varepsilon \sim \mathcal{N}(0, \mathbf{I})}\left[\lambda(t)\left\|\varepsilon_\theta\left(x_t, t\right)-\varepsilon\right\|^2\right] \end{equation} $$其中$\lambda(t)$是一个放缩系数，$t\in \left[0,1\right]$是timestep，而$\pi(t)$是timestep的分布。2.2 Distilling a Pretrained Diffusion Model在下文中，本文主要考虑基于Latent Diffusion Models的图像生成模型，将Teacher Model记为$\varepsilon_\phi^{\text {teacher}}$，Student Model记为$\varepsilon_\phi^{\text {student}}$，训练图像为$x_0$，其分布记为$p(x_0)$。本文将通过编码器$\mathcal{E}$得到的潜变量表示为$z_0=\mathcal{E}\left(x_0\right)$。此外，$\pi$是时间步$t\in\left[0,1\right]$的概率密度函数。Flash Diffusion的主要目标是：希望最终获得一种快速、文件且可靠的算法，并且能轻松迁移到不同的应用场景中。给定一个带噪的潜在样本$z_t$，其中$t\in\pi\left(t\right)$，本文提出训练一个函数$f_\theta$来预测原始样本$z_0$的去噪版本$\tilde{z}_0$。与传统扩散模型的主要区别在于，Flash Diffusion不直接使用$z_0$作为目标，而是利用Teacher Model的知识，采用Teacher Model学习到的数据分布$p_\p…

Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack
type: item
date: 2025-04-13T16:56:00+08:00
description: Paper: https://arxiv.org/abs/2309.158071. Introduction本文提出了quality-tuning，以有效地引导预训练模型仅生成视觉上高度吸引人的图像，同时保持对视觉概念的一般性。本文的关键发现在于：在一个规模非常小但高度吸引人的图像数据集上进行SFT，可以显著提供图像的生成质量。具体而言，本文在110亿图文对上首先预训练了一个latent diffusion model，然后在仅几千张精心挑选的高质量图像数据集上进行微调后，得到了Emu。Emu和仅预训练的latent diffusion model对比，胜率达到82.9%，而与目前最为先进的SDXLv1.0相比，Emu在标准的PartiPrompts和本文的Open User Input benchmark上各自取得了68.4%和71.3%的胜率。Quality-tuning是一个通用的策略，其对于pixel diffusion和masked generative transformer models等其他架构也一样适用。Quality-tuning很类似与LLM中的Instruction-tuning：Quality-tuning和Instruction-tuning一样，可以显著提升生成模型的能力。Quality-tuning和Instruction-tuning一样，相较于Pretraining阶段，只需要非常少量的高质量数据即可。Quality-tuning和Instruction-tuning一样，不会导致其在Pretraining阶段习得的知识被遗忘。Quality-tuning阶段的数据筛选标准是主观的，会受到各自文化的影响。本文则是遵循了摄影中的一些基本原则，包括但不限于构图、光照、色彩、有效分辨率、对焦、故事叙述的指引性等。Emu的部分生成结果如下：2. Method本文将生成模型的训练分为两个阶段：Knowledge Learning Stage（Pretraining Stage）Quality-Tuning Stage（Finetuning Stage）正如Introduction中所提，本文的关键洞察在于以下三点：微调数据集可以非常小，仅需几千张图像数据集的质量需要非常高，这使得数据集的完全自动化几乎不可能，需要通过人工进行标注即使使用很小的微调数据集，Quality-Tuning不仅显著提高了生成图像的美感，而且没有牺牲其图文一致性2.1 Latent Diffusion Architecture本文设计了一个Latent Diffusion Model，可以生成1024x1024分辨率的图像，和标准的Latent Diffusion Architecture设计一致，Emu也包括一个AutoEncoder（用于将Image编码为Latent Embeddings）以及一个UNet（学习去噪过程）。本文发现常用的4-channel AutoEncoder（AE-4）由于压缩率过高，会导致重建图像缺乏细节，而将通道数提升至16可以显著提升重建质量。为了进一步提升重建表现，本文采用对抗损失，并对RGB图像应用一个无需学习的预处理步骤（使用傅里叶变换将输入通道维度从3提升到更大），以更好地捕捉细微结构。除了VAE以外，本文使用了一个训练参数量为2.8B的大型UNet，具体而言，本文提升了每个Stage中堆叠的残差模块的通道数和模块数，以获取更大的模型容量。至于Text Encoder，本文使用了CLIP ViT-L和T5-XXL。2.2 Pretraining本文精心挑选了一个庞大的内部预训练数据集，包含1.1billion张图像用于进行Diffusion模型的预训练。和SDXL类似，本文也采用了渐进式地训练策略，分辨率会逐步提升。这种渐进式训练策略使得模型可以在较低分辨率下高效学习高级语义信息，并在高分辨率下改善细节。在预训练的最后阶段，本文还应用了0.02的噪声偏移。2.3 High-Quality Alignment Data2.3.1 Automatic Filtering从数十亿图像的初始集合开始，本文首先使用一些自动过滤器将其缩减至数千万张。这些自动过滤器包括但不限于：攻击性内容筛选美学评分筛选OCR字数筛选CLIP得分筛选图像大小筛选长宽比筛选然后为了平衡来自不同领域和类别的图像，本文使用一个分类器（Billion-scale semi-supervised learning for image classification），对数据进行分类（例如肖像、失误、动物、风景、汽车等）。最后，再通过一些特殊的信号，例如点赞数等，对数据进行进一步过滤，最终将数据精简到200K条。2.3.2 Huma…

InstructPix2Pix: Learning to Follow Image Editing Instructions
type: item
date: 2025-04-11T12:17:00+08:00
description: Project Page: https://www.timothybrooks.com/instruct-pix2pixPaper: https://arxiv.org/abs/2211.09800Code: https://github.com/timothybrooks/instruct-pix2pix1. Introduction本文提出了一个根据人类指令编辑图像的条件生成模型InstructPix2Pix：给定一张输入的图像以及一个编辑指令（用于告诉模型需要进行的编辑操作），模型会遵循这些指令对图像进行编辑。本文使用了两个大型预训练模型来获取编辑问题的训练数据：一个语言模型：GPT-3一个文生图模型：Stable Diffusion尽管InstructPix2Pix只在生成数据上训练，但其具备良好的zeroshot泛化性，可以基于人类提供的指令对真实图像进行编辑。下图展示了部分示例：从上述示例可以看出，首先模型的确已经具备了一定的编辑指令遵循能力，但是同时也可以观察到一些非目标区域的变化，这可能是训练集中就缺乏完全对齐数据的导致的。2. Method本文将Instruction-based Image Editing任务看做是一个监督学习问题：本文首先生成一个成对的训练集，其包含文本的编辑指令和编辑前后的图像。基于上述生成的数据集，本文训练一个Image Editing Diffusion Model。下图是InstructPix2Pix方案的概览图：2.1 Generating a Multi-modal Training Dataset本文将两种不同模态的大型预训练模型的能力结合起来（一个是大语言模型GPT-3，一个是大型文本到图像模型Stable Diffusion），以生成一个包含文本编辑指令及其编辑前后对应图像的多模态训练数据集。在2.1.1小节中，将阐述微调GPT-3用于生成一系列文本的过程：给定一个图像的文本描述，生成一个进行图像编辑的文本指令，以及一个编辑后图像的文本描述。在2.1.2小节中，将阐述使用Stable Diffusion将两个文本描述（编辑前后图像的文本描述）转化为对应的一对图像的过程。2.1.1 Generating Instructions and Paired Captions首先聚焦于Text Domain，本文使用一个LLM基于图像文本描述，生成图像编辑的文本指令以及编辑后的图像的文本描述。下图展示了一个示例：本文对GPT-3进行了微调，以更好地适配该任务。具体而言，本文首先收集了少量的人类编写的编辑文本对：输入文本描述编辑指令输出文本描述输入的文本描述是从LAION-Aesthetic V2 6.5+中sample了700个文本描述，编辑指令和输出文本描述则是人工编写完成。基于以上700条数据，对GPT-3进行了1 epoch的微调，由于GPT-3本身具备丰富的知识和较强的泛化性，微调的模型可以生成具有创造力同时合理的编辑指令和文本描述。下图展示了微调GPT-3的训练数据样例以及GPT-3生成的训练数据样例：最终基于LAION数据集，本文生成了454445个训练样本。2.1.2 Generating Paired Images from Paired Captions接下来，本身使用一个预训练的文生图模型，将一对文本描述（图像编辑前后的文本描述）转化为一对图像。这里使用的方案是Prompt-to-Prompt，其可以实现相似的Prompt可以生成相似图像的效果：Prompt-to-Prompt中有个参数$\tau$可以用来控制生成两个图像的相似度，但对于不同编辑指令，可能需要的相似度是不同的。为了对不同编辑指令估计一个相对较优的参数$\tau$的设置，本文对每一个文本对生成100的样例，每个样例随机采样一个$p \sim \mathcal{U}(0.1,0.9)$，然后使用directional CLIP similarity对结果进行筛选，以得到图文一致性较高的数据，具体细节可以参考论文中补充材料中的内容：关于Prompt-to-Prompt的细节可以参考我另一篇博客：https://zhuanlan.zhihu.com/p/1893766407524697409。2.2 InstructPix2Pix参考《Pretraining is all you need for image-to-image translation》这篇论文中的结论，对于Image Translation任务，微调一个大型Image Diffusion模型的效果优于从头开始训练的模型，特别是当配对训练数据有限的情况下。为此，本文使用Stable Diffusion模型参数对InstructPix2Pi…

Prompt-to-prompt image editing with cross attention control
type: item
date: 2025-04-10T20:20:00+08:00
description: Project Page: https://prompt-to-prompt.github.ioPaper: https://arxiv.org/abs/2208.01626Code: https://github.com/google/prompt-to-prompt1. Introduction基于文本的图像生成方案特别吸引人类，因为人类习惯于口头表达他们的意图。因此，将基于文本的图像生成扩展到基于文本的图像编辑是顺理成章的。然而，编辑对于生成模型来说是一个挑战。因为编辑技术的固有需求是保留原始图像的大部分内容，而文本提示的微调改动往往就会导致基于文本的生成模型产生完全不同的结果。目前的SOTA方案通过要求用户额外提供一个Mask用于定位编辑区域来避免该问题，然而，该方案忽略了在Mask区域的原始结构和内容。本文期望使用一种直观的Prompt-to-Prompt的方式来完成编辑任务，即仅通过文本来控制编辑。为此，本文深入分析了基于文本的图像生成模型，并观察到Cross-Attention是控制图像空间布局与文本提示中各个单词之间关系的关键。基于以上观察，本文提出在扩散过程中注入交叉注意力图的方式来编辑图像，从而控制哪些像素在哪些扩散步骤中关注提示文本的哪些标记。具体而言，本文提出了几种仅通过编辑文本提示来控制图像生成的方案：替换单词进行局部编辑：替换一个单一的token的值（例如将“dog”替换为“cat”），同时固定Cross-Attention Maps，从而保持场景的整体结构。添加限定进行全局编辑：在Prompt中加入新的限定描述，冻结其他tokens的Attention Maps，运行新的tokens的Attention计算。精细控制单词在图像中反映程度：放大或者减弱生成图像中单词的语义效果。部分示例图如下所示：2. Method从上图不难看出，简单固定随机种子，使用新的Prompt进行生成，难以维持相关结构的不变，而如果加上对于Attention Maps的固定的话，则可以在一定程度上维持相关结构的不变性。2.1 Cross-attention in text-conditioned Diffusion Models本文使用Imagen作为backbone。Imagen本是是一个多阶段模型，其首先在64x64分辨率上训练一个base text-to-image diffusion model，然后再结合超分模型，将分辨率逐步进行提升：64x64 -> 256x256 -> 1024x1024。由于图像的组成和几何结构主要是在64x64分辨率下确定，因此，这里只需要调整base text-to-image diffusion model即可，超分模型可以直接复用Imagen原超分模型。下图上半部展示了Text to Image Cross-Attention的过程：2.2 Controlling the Cross-attention下图展示了像素和文本之间的交互过程：从上图可以看出，像素对描述它们的词语更具有“吸引力”，例如bear的像素和词语bear相关联。由于注意力图反映了整体组成，因此，可以将从原始提示$P$生成的注意力图$M$注入到使用修改后提示$P^*$的第二次生成中。这不仅可以让合成的新图像$I^*$可以根据编辑的提示进行修改，还能保持输入图像$I$的结构。下图展示了Prompt-to-Prompt图像编辑算法流程：其中，$D M\left(z_t^*, \mathcal{P}^*, t, s_t\right)\left\{M \leftarrow \widehat{M}_t\right\}$表示一个Diffusion Step，其中，使用$\widehat{M}_t$改写$M$的同时，保持来自提供Prompt的$V$不变。接下来，具体解释一下不同编辑操作下$Edit \left(M_t, M_t^*, t\right)$的含义。Word Swap在该编辑任务中，用户将原来的Prompt中的tokens替换为其他的tokens，例如$P=\text{"a big red bicyle"}$到$P^*=\text{"a big red car"}$。该任务的主要难点在于如何在保持原始结构的同时还需要处理新提示的内容，本文解决该问题的方案是，将原图像的注意力图注入到修改后的提示的图像生成过程中。然而，注入的注意力图可能会对生成图像的结构约束过高，特别是当需要进行一个大的结构改动时，例如“car”改为”bicycle”。为了缓解该问题，本文使用了一个softer attention constrain：$$ \begin{equation}\tag{1} \operatorname{Edit}\left(M…

优秀博客汇总
type: item
date: 2025-02-20T16:10:00+08:00
description: 本文期望收集和整理一些优秀的博客。1. Traditional Machine Learning1.1 贝叶斯网络贝叶斯网络贝叶斯网络，看完这篇我终于理解了(附代码)！朴素贝叶斯分类算法带你理解朴素贝叶斯分类算法：举得例子很形象，也解释了为什么朴素贝叶斯分类算法中需要假设各个特征独立的原因，但似乎计算有点问题，可以参考评论区无痕和励志橙的评论。这里评论区还提到分母的计算问题，实际上也是利用相互独立的假设，不需要用上拉普拉斯平滑。朴素贝叶斯 拉普拉斯平滑（Laplace Smoothing）：主要是为了解决某个特征在样本中从未出现的问题。方法就是为各个特征的频数加一来避免频数为0的情况。1.2 马尔科夫随机场概率图之马尔可夫随机场（Markov Random Field，MRF）：贝叶斯网络和马尔科夫随机场都是概率图模型，主要差别在于贝叶斯网络是一个有向无环图，更强调相互关系，而马尔科夫随机场是一个无向图，更强调的连接以及所谓的”团“的概念。关于概率图模型的马尔科夫性质，可以参考：贝叶斯网络，看完这篇我终于理解了(附代码)！中的一些说明和推导。马尔科夫随机场中一些比较重要的概念：极大团、势函数。马尔科夫随机场(MRF)在深度学习图像处理中的应用-图像分割、纹理迁移A friendly introduction to Bayes Theorem and Hidden Markov Models：一个YouTube视频。1.3 标准化流模型Normalizing Flows Tutorial：暂时还看不太懂，但对标准化流有了一定的概念，还需学习。Normalization Flow (标准化流) 总结：到自回归流又看不懂了。2. Traditional Deep Learning3. AIGC3.1 Diffusion Theories3.1.1 General DiffusionWhat are Diffusion Models?The Annotated Diffusion Model3.1.2 Score-based modelGenerative Modeling by Estimating Gradients of the Data Distributionscore matching （个人理解）4. LLM5. Math5.1 Langevin Dynamics朗之万动力学

Diffusion Reading Summary
type: item
date: 2025-02-18T15:20:00+08:00
description: Text-to-Image【2021-12-20】High-Resolution Image Synthesis with Latent Diffusion Models | 已读【2022-12-19】Scalable Diffusion Models with Transformers | 已读【2023-07-04】SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis | 已读【2023-09-30】PixArt-$\alpha$: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis | 已读【2023-10-20】Improving Image Generation with Better Captions | 未读【2024-02-27】Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation | 未读【2024-03-05】Scaling Rectified Flow Transformers for High-Resolution Image Synthesis | 已读【2024-03-07】PixArt-Σ: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation | 已读【2024-05-14】Hunyuan-DiT: A Powerful Multi-Resolution Diffusion Transformer with Fine-Grained Chinese Understanding | 已读【2024-10-14】Deep compression autoencoder for efficient high-resolution diffusion models | 未读Acceleration【2023-11-30】One-step diffusion with distribution matching distillation | 未读VAE【2025-02-20】Improving the Diffusability of Autoencoders | 已读