Hugging Face's logo

Diffusers documentation

图像变体

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

图像变体

Stable Diffusion 模型还可以根据输入图像生成变体。它使用了来自 Lambda 的 Justin Pinkney 微调的 Stable Diffusion 模型版本。

原始代码库可在 LambdaLabsML/lambda-diffusers 中找到，图像变体的额外官方检查点可在 lambdalabs/sd-image-variations-diffusers 中找到。

请务必查看 Stable Diffusion 的 技巧 部分，了解如何探索调度器速度与质量之间的权衡，以及如何高效地复用流水线组件！

StableDiffusionImageVariationPipeline

类 diffusers.StableDiffusionImageVariationPipeline

< >

( vae: AutoencoderKLimage_encoder: CLIPVisionModelWithProjectionunet: UNet2DConditionModelscheduler: KarrasDiffusionSchedulerssafety_checker: StableDiffusionSafetyCheckerfeature_extractor: CLIPImageProcessorPilrequires_safety_checker: bool = True )

参数

使用 Stable Diffusion 从输入图像生成图像变体的 Pipeline。

该模型继承自 DiffusionPipeline。有关为所有 pipeline 实现的通用方法（下载、保存、在特定设备上运行等），请参阅父类文档。

__call__

< >

( image: typing.Union[PIL.Image.Image, list[PIL.Image.Image], torch.Tensor]height: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 50guidance_scale: float = 7.5num_images_per_prompt: int | None = 1eta: float = 0.0generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Truecallback: typing.Optional[typing.Callable[[int, int, torch.Tensor], NoneType]] = Nonecallback_steps: int = 1 ) → StableDiffusionPipelineOutput or tuple

参数

  • image (PIL.Image.Image 或 list[PIL.Image.Image] 或 torch.Tensor) — 用于引导图像生成的图像。如果提供张量，它需要与 CLIPImageProcessor 兼容。
  • height (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度（以像素为单位）。
  • width (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度（以像素为单位）。
  • num_inference_steps (int，可选，默认值为 50) — 去噪步数。更多的去噪步数通常能生成更高质量的图像，但推理速度会更慢。此参数受 strength 调节。
  • guidance_scale (float，可选，默认值为 7.5) — 较高的 guidance scale 值会促使模型生成与文本 prompt 紧密相关的图像，但代价是图像质量降低。当 guidance_scale > 1 时，guidance scale 生效。
  • num_images_per_prompt (int，可选，默认为 1) — 每个提示词生成的图像数量。
  • eta（float，可选，默认值为 0.0）— 对应 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中会被忽略。
  • generator (torch.Generator 或 list[torch.Generator]，可选) — 用于使生成过程确定性的 torch.Generator。
  • latents (torch.Tensor, 可选) — 预先生成的、从高斯分布中采样的含噪潜变量，用作图像生成的输入。可用于以不同的提示词微调同一生成过程。如果未提供，则使用提供的随机generator进行采样，生成一个潜变量张量。
  • output_type (str，可选，默认为 "pil") — 生成图像的输出格式。可选 PIL.Image 或 np.array。
  • return_dict (bool，可选，默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
  • callback (Callable, 可选) — 一个在推理过程中每隔 callback_steps 步调用一次的函数。该函数以以下参数被调用：callback(step: int, timestep: int, latents: torch.Tensor)。
  • callback_steps (int，可选，默认为 1) — 调用 callback 函数的频率。如果未指定，则会在每一步调用该回调。

返回值

StableDiffusionPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput；否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，用于指示对应的生成图像是否包含“不适合工作场所”（nsfw）内容。

用于生成的 pipeline 的调用函数。

示例：

from diffusers import StableDiffusionImageVariationPipeline
from PIL import Image
from io import BytesIO
import requests

pipe = StableDiffusionImageVariationPipeline.from_pretrained(
    "lambdalabs/sd-image-variations-diffusers", revision="v2.0"
)
pipe = pipe.to("cuda")

url = "https://lh3.googleusercontent.com/y-iFOHfLTwkuQSUegpwDdgKmOjRSTvPxat63dQLB25xkTs4lhIbRUFeNBWZzYf370g=s1200"

response = requests.get(url)
image = Image.open(BytesIO(response.content)).convert("RGB")

out = pipe(image, num_images_per_prompt=3, guidance_scale=15)
out["images"][0].save("result.jpg")

enable_attention_slicing

< >

( slice_size: str | int = 'auto' )

参数

  • slice_size (str 或 int，可选，默认为 "auto") — 当值为 "auto" 时，将输入到注意力头的数据减半，因此注意力计算将分两步进行。如果值为 "max"，则每次只运行一个切片，从而节省最大量的内存。如果提供了数字，则使用 attention_head_dim // slice_size 个切片。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

启用切片注意力计算。启用此选项后，注意力模块会将输入张量切分为多个切片，分步计算注意力。当存在多个注意力头时，计算将按顺序针对每个头执行。此功能可用于节省部分内存，代价是速度略有下降。

> ⚠️ 如果您已经在使用 PyTorch > 2.0 或 xFormers 中的 scaled_dot_product_attention（SDPA），请勿启用注意力切片。这些注意力计算本身已经非常节省内存，因此您无需启用 > 此功能。如果在 SDPA 或 xFormers 上启用注意力切片，可能会导致严重的性能下降！

示例：

>>> import torch
>>> from diffusers import StableDiffusionPipeline

>>> pipe = StableDiffusionPipeline.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5",
...     dtype=torch.float16,
...     use_safetensors=True,
... )

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]

disable_attention_slicing

< >

( )

禁用切片注意力计算。如果之前调用过 enable_attention_slicing，则注意力将一次性计算完成。

enable_xformers_memory_efficient_attention

< >

( attention_op: typing.Optional[typing.Callable] = None )

参数

启用来自 xFormers 的内存高效注意力机制。启用此选项后，您应能观察到更低的 GPU 内存占用，并且在推理期间可能会获得加速。训练期间的加速并不保证。

> ⚠️ 当同时启用 memory efficient attention 和 sliced attention 时，memory efficient attention 具有 > 优先权。

示例：

>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)

disable_xformers_memory_efficient_attention

< >

( )

禁用来自 xFormers 的内存高效注意力。

StableDiffusionPipelineOutput

类 diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput

< >

( images: list[PIL.Image.Image] | numpy.ndarraynsfw_content_detected: list[bool] | None )

参数

  • images (list[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表，或形状为 (batch_size, height, width, num_channels) 的 NumPy 数组。
  • nsfw_content_detected (list[bool]) — 一个列表，指示对应的生成图像是否包含“不适合工作场所”（nsfw）内容；如果无法执行安全检查，则为 None。

Stable Diffusion 管道的输出类。

Update on GitHub

←深度到图像 图像到图像→