生图步骤 | wxya（个人网站）

生图步骤

SDXL consists of a mixture-of-experts pipeline for latent diffusion: In a first step, the base model is used to generate (noisy) latents, which are then further processed with a refinement model specialized for the final denoising steps. Note that the base model can be used as a standalone module.SDXL由一个用于潜在扩散的混合专家管道组成：在第一步中，基础模型用于生成（噪声）潜在，然后使用专门用于最终去噪步骤的细化模型进一步处理。请注意，基本模型可以用作独立模块。

Alternatively, we can use a two-stage pipeline as follows: First, the base model is used to generate latents of the desired output size. In the second step, we use a specialized high-resolution model and apply a technique called SDEdit (https://arxiv.org/abs/2108.01073, also known as "img2img") to the latents generated in the first step, using the same prompt. This technique is slightly slower than the first one, as it requires more function evaluations.或者，我们可以使用两阶段流水线，如下所示：首先，使用基础模型来生成所需输出大小的latent。在第二步中，我们使用一个专门的高分辨率模型，并使用相同的提示符将一种称为SDEDit（https：//arxiv.org/abs/2108.01073，也称为“img 2 img”）的技术应用于第一步中生成的延迟。这种技术比第一种技术稍慢，因为它需要更多的函数计算。

Source code is available at https://github.com/Stability-AI/generative-models .源代码可在https://github.com/Stability-AI/generative-models上获得。

Stable Diffusion 模型是基于扩散过程的生成模型，其工作原理可以概括为两个相互逆向的过程：前向扩散过程和后向去噪过程。

前向扩散过程（Forward Diffusion）：

在前向扩散过程中，模型从原始数据（例如图像或文本）开始，逐步地加入噪声，直到数据完全转变为随机噪声分布。这个过程是预定的，通常涉及多个步骤，每一步都会增加一些噪声。在数学上，这个过程可以被建模为一个随机微分方程，其中数据（或其潜在表示）随着时间的推移逐渐变得更加随机和无序。

后向去噪过程（Reverse Denoising）：

后向去噪过程是前向扩散过程的逆过程，目的是从噪声中恢复出原始数据。在这个过程中，模型学习如何逐步去除噪声，从而重建出清晰的图像或文本。这个过程是通过训练模型来实现的，使其能够根据当前的噪声数据和一些条件（如文本提示）预测下一个更干净的状态。采样器在这个过程中起到了关键作用，它使用一种称为“去噪函数”的机制来逐步减少噪声。采样器在每一步都会根据当前的噪声数据和模型的条件输入来预测一个去噪后的输出。这个过程通常需要多个步骤来完成，每一步都会使输出更加接近原始的无噪声数据。

总结：

Stable Diffusion 模型的前向扩散过程和后向去噪过程是相互逆向的两个过程。前向过程负责逐步加入噪声，而后向过程则负责逐步去除这些噪声，并生成与原始输入数据相匹配的输出。通过这种方式，模型能够学习如何从随机噪声中重建出有意义的结构，从而实现高质量的图像或文本生成。