Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Z-Image'dan görüntü benzeri veriler için bir Transformer modeli.

ZImageTransformer2DModel

sınıf diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: list[torch.Tensor, list[list[torch.Tensor]]]tcap_feats: list[torch.Tensor, list[list[torch.Tensor]]]return_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

Parametreler

  • x (list of torch.Tensor or nested list of torch.Tensor) — Girdi latentleri. Standart modda çalışırken düz bir liste, omni modda çalışırken iç içe geçmiş bir liste.
  • t (torch.Tensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • cap_feats (list of torch.Tensor or nested list of torch.Tensor) — Kullanılacak koşullu başlık gömme değerleri (girdi koşullarından, örneğin istemlerden hesaplanan gömme değerleri).
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • controlnet_block_samples (dict of int to torch.Tensor, isteğe bağlı) — Belirtilirse, transformer bloklarının artıklarına eklenen blok indeksinden tensöre bir eşleme.
  • siglip_feats (list of list of torch.Tensor, isteğe bağlı) — Ek koşullandırma olarak kullanılan isteğe bağlı SigLIP görüntü özellikleri.
  • image_noise_mask (list of list of int, isteğe bağlı) — Omni modunda gürültülü ve temiz tokenleri gösteren görüntü başına gürültü maskeleri.
  • patch_size (int, isteğe bağlı, varsayılan 2) — Girdi latentlerini parçalamak için kullanılan uzamsal yama boyutu.
  • f_patch_size (int, isteğe bağlı, varsayılan 1) — Girdi latentlerini yama haline getirmek için kullanılan zamansal yama boyutu.
  • joint_attention_kwargs (dict, isteğe bağlı) — Bir kwargs sözlüğü. LoRA katmanlarını ölçeklemek için yalnızca scale girdisi kullanılır.

ZImageTransformer2DModel ileri yöntemi.

Akış: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: list[torch.Tensor]all_cap_feats: list[torch.Tensor]patch_size: intf_patch_size: int )

Temel mod için Patchify: batch öğesi başına tek görüntü.

patchify_and_embed_omni

< >

( all_x: list[list[torch.Tensor]]all_cap_feats: list[list[torch.Tensor]]all_siglip_feats: list[list[torch.Tensor]]patch_size: intf_patch_size: intimages_noise_mask: list[list[int]] )

Omni modu için Patchify: gürültü maskeleriyle batch öğesi başına birden fazla görüntü.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→