Hugging Face's logo

Diffusers documentation

AutoPipeline

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoPipeline

AutoPipeline dirancang untuk memudahkan pemuatan checkpoint untuk suatu tugas tanpa perlu mengetahui kelas pipeline yang spesifik. Berdasarkan tugasnya, AutoPipeline secara otomatis mengambil kelas pipeline yang benar dari file model_index.json checkpoint.

Lihat tutorial AutoPipeline untuk mempelajari cara menggunakan API ini!

AutoPipelineForText2Image

kelas diffusers.AutoPipelineForText2Image

< >

( *args**kwargs )

AutoPipelineForText2Image adalah kelas pipeline generik yang menginstansiasi kelas pipeline text-to-image. Kelas pipeline spesifik yang mendasarinya dipilih secara otomatis dari metode from_pretrained() atau from_pipe().

Kelas ini tidak dapat diinstansiasi menggunakan __init__() (melempar error).

Atribut kelas:

  • config_name (str) — Nama file konfigurasi yang menyimpan nama kelas dan modul dari semua komponen pipeline difusi.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

Parameter

  • pretrained_model_or_path (str atau os.PathLike, opsional) — Dapat berupa:
    • String, repo id (misalnya CompVis/ldm-text2im-large-256) dari pipeline pretrained yang dihosting di Hub.
    • Path ke direktori (misalnya ./my_pipeline_directory/) yang berisi bobot pipeline yang disimpan menggunakan save_pretrained().
  • dtype (torch.dtype, opsional) — Timpa torch.dtype bawaan dan muat model dengan dtype lain.
  • force_download (bool, opsional, default False) — Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang sudah di-cache jika ada.
  • cache_dir (str | os.PathLike, opsional) — Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.
  • proxies (dict[str, str], opsional) — Kamus server proxy yang digunakan berdasarkan protokol atau endpoint, misalnya {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Proxy digunakan pada setiap permintaan.
  • output_loading_info(bool, opsional, defaultnya False) — Apakah akan mengembalikan juga kamus yang berisi kunci yang hilang, kunci yang tidak terduga, dan pesan kesalahan.
  • local_files_only (bool, opsional, default False) — Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke True, model tidak akan diunduh dari Hub.
  • token (str atau bool, opsional) — Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika True, token yang dihasilkan dari diffusers-cli login (disimpan di ~/.huggingface) akan digunakan.
  • revision (str, opsional, default "main") — Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, commit id, atau identifier apa pun yang diizinkan oleh Git.
  • custom_revision (str, opsional, defaultnya "main") — Versi model spesifik yang akan digunakan. Ini bisa berupa nama branch, nama tag, atau commit id yang serupa dengan revision saat memuat pipeline kustom dari Hub. Ini bisa berupa versi 🤗 Diffusers saat memuat pipeline kustom dari GitHub, selain itu defaultnya menjadi "main" saat memuat dari Hub.
  • mirror (str, opsional) — Sumber cermin untuk mengatasi masalah aksesibilitas jika Anda mengunduh model di Tiongkok. Kami tidak menjamin ketepatan waktu atau keamanan sumber, dan Anda harus merujuk ke situs cermin untuk informasi lebih lanjut.
  • device_map (str atau dict[str, int | str | torch.device], opsional) — Peta yang menentukan ke perangkat mana setiap submodul harus ditempatkan. Peta ini tidak perlu didefinisikan untuk setiap nama parameter/buffer; begitu nama modul tertentu sudah termasuk di dalamnya, semua submodulnya akan dikirim ke perangkat yang sama.

    Set device_map="auto" agar 🤗 Accelerate secara otomatis menghitung device_map yang paling teroptimasi. Untuk informasi lebih lanjut tentang setiap opsi, lihat mendesain device map.

  • max_memory (Dict, opsional) — Kamus pengidentifikasi perangkat untuk memori maksimum. Jika tidak diset, nilai defaultnya adalah memori maksimum yang tersedia untuk setiap GPU dan RAM CPU yang tersedia.
  • offload_folder (str atau os.PathLike, opsional) — Path untuk meng-offload bobot jika device_map berisi nilai "disk".
  • offload_state_dict (bool, opsional) — Jika True, state dict CPU akan di-offload sementara ke hard drive untuk menghindari kehabisan RAM CPU jika berat state dict CPU + shard terbesar dari checkpoint tidak muat. Nilainya secara default True jika ada disk offload.
  • low_cpu_mem_usage (bool, opsional, defaultnya True jika versi torch >= 1.9.0 selain itu False) — Percepat pemuatan model dengan hanya memuat bobot pretrained dan tidak menginisialisasi bobot. Ini juga berusaha untuk tidak menggunakan lebih dari 1x ukuran model di memori CPU (termasuk memori puncak) saat memuat model. Hanya didukung untuk PyTorch >= 1.9.0. Jika Anda menggunakan versi PyTorch yang lebih lama, mengatur argumen ini ke True akan memicu error.
  • use_safetensors (bool, opsional, default None) — Jika diset ke None, bobot safetensors akan diunduh jika tersedia dan jika library safetensors terpasang. Jika diset ke True, model dipaksa dimuat dari bobot safetensors. Jika diset ke False, bobot safetensors tidak dimuat.
  • kwargs (sisa kamus argumen kata kunci, opsional) — Dapat digunakan untuk menimpa variabel load dan saveable (komponen pipeline dari kelas pipeline tertentu). Komponen yang ditimpa diteruskan langsung ke metode __init__ pipeline. Lihat contoh di bawah untuk informasi lebih lanjut.
  • variant (str, opsional) — Muat bobot dari nama file varian yang ditentukan, seperti "fp16" atau "ema".

Membuat instans pipeline difusi Pytorch dari teks ke gambar dari bobot pipeline yang telah dilatih sebelumnya.

Metode from_pretrained() menangani pengembalian instance kelas pipeline yang tepat dengan cara:

  1. Deteksi kelas pipeline dari pretrained_model_or_path berdasarkan properti _class_name dari objek config-nya
  2. Temukan pipeline teks-ke-gambar yang terhubung ke kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Jika argumen controlnet diteruskan, objek StableDiffusionControlNetPipeline akan diinstansiasi.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

Jika Anda menerima pesan kesalahan di bawah ini, Anda perlu melakukan penyesuaian bobot untuk tugas turunan Anda:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> Untuk menggunakan model privat atau berpagar, masuk dengan hf > auth login.

Contoh:

>>> from diffusers import AutoPipelineForText2Image

>>> pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]

from_pipe

< >

( pipeline**kwargs )

Parameter

  • pipeline (DiffusionPipeline) — objek DiffusionPipeline yang telah diinstansiasi

Membuat instans pipeline difusi Pytorch dari teks ke gambar dari kelas pipeline difusi lain yang sudah diinstansiasi.

Metode from_pipe() menangani pengembalian instance kelas pipeline yang benar dengan menemukan pipeline teks-ke-gambar yang terhubung ke kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Semua modul yang terkandung dalam pipeline akan digunakan untuk menginisialisasi pipeline baru tanpa mengalokasikan memori tambahan.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]

AutoPipelineForImage2Image

kelas diffusers.AutoPipelineForImage2Image

< >

( *args**kwargs )

AutoPipelineForImage2Image adalah kelas pipeline generik yang menginstansiasi kelas pipeline image-to-image. Kelas pipeline spesifik yang mendasarinya dipilih secara otomatis dari metode from_pretrained() atau from_pipe().

Kelas ini tidak dapat diinstansiasi menggunakan __init__() (melempar error).

Atribut kelas:

  • config_name (str) — Nama file konfigurasi yang menyimpan nama kelas dan modul dari semua komponen pipeline difusi.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

Parameter

  • pretrained_model_or_path (str atau os.PathLike, opsional) — Dapat berupa:
    • String, repo id (misalnya CompVis/ldm-text2im-large-256) dari pipeline pretrained yang dihosting di Hub.
    • Path ke direktori (misalnya ./my_pipeline_directory/) yang berisi bobot pipeline yang disimpan menggunakan save_pretrained().
  • dtype (str atau torch.dtype, opsional) — Timpa torch.dtype bawaan dan muat model dengan dtype lain.
  • force_download (bool, opsional, default False) — Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang sudah di-cache jika ada.
  • cache_dir (str | os.PathLike, opsional) — Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.
  • proxies (dict[str, str], opsional) — Kamus server proxy yang digunakan berdasarkan protokol atau endpoint, misalnya {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Proxy digunakan pada setiap permintaan.
  • output_loading_info(bool, opsional, defaultnya False) — Apakah akan mengembalikan juga kamus yang berisi kunci yang hilang, kunci yang tidak terduga, dan pesan kesalahan.
  • local_files_only (bool, opsional, default False) — Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke True, model tidak akan diunduh dari Hub.
  • token (str atau bool, opsional) — Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika True, token yang dihasilkan dari diffusers-cli login (disimpan di ~/.huggingface) akan digunakan.
  • revision (str, opsional, default "main") — Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, commit id, atau identifier apa pun yang diizinkan oleh Git.
  • custom_revision (str, opsional, defaultnya "main") — Versi model spesifik yang akan digunakan. Ini bisa berupa nama branch, nama tag, atau commit id yang serupa dengan revision saat memuat pipeline kustom dari Hub. Ini bisa berupa versi 🤗 Diffusers saat memuat pipeline kustom dari GitHub, selain itu defaultnya menjadi "main" saat memuat dari Hub.
  • mirror (str, opsional) — Sumber cermin untuk mengatasi masalah aksesibilitas jika Anda mengunduh model di Tiongkok. Kami tidak menjamin ketepatan waktu atau keamanan sumber, dan Anda harus merujuk ke situs cermin untuk informasi lebih lanjut.
  • device_map (str atau dict[str, int | str | torch.device], opsional) — Peta yang menentukan ke perangkat mana setiap submodul harus ditempatkan. Peta ini tidak perlu didefinisikan untuk setiap nama parameter/buffer; begitu nama modul tertentu sudah termasuk di dalamnya, semua submodulnya akan dikirim ke perangkat yang sama.

    Set device_map="auto" agar 🤗 Accelerate secara otomatis menghitung device_map yang paling teroptimasi. Untuk informasi lebih lanjut tentang setiap opsi, lihat mendesain device map.

  • max_memory (Dict, opsional) — Kamus pengidentifikasi perangkat untuk memori maksimum. Jika tidak diset, nilai defaultnya adalah memori maksimum yang tersedia untuk setiap GPU dan RAM CPU yang tersedia.
  • offload_folder (str atau os.PathLike, opsional) — Path untuk meng-offload bobot jika device_map berisi nilai "disk".
  • offload_state_dict (bool, opsional) — Jika True, state dict CPU akan di-offload sementara ke hard drive untuk menghindari kehabisan RAM CPU jika berat state dict CPU + shard terbesar dari checkpoint tidak muat. Nilainya secara default True jika ada disk offload.
  • low_cpu_mem_usage (bool, opsional, defaultnya True jika versi torch >= 1.9.0 selain itu False) — Percepat pemuatan model dengan hanya memuat bobot pretrained dan tidak menginisialisasi bobot. Ini juga berusaha untuk tidak menggunakan lebih dari 1x ukuran model di memori CPU (termasuk memori puncak) saat memuat model. Hanya didukung untuk PyTorch >= 1.9.0. Jika Anda menggunakan versi PyTorch yang lebih lama, mengatur argumen ini ke True akan memicu error.
  • use_safetensors (bool, opsional, default None) — Jika diset ke None, bobot safetensors akan diunduh jika tersedia dan jika library safetensors terpasang. Jika diset ke True, model dipaksa dimuat dari bobot safetensors. Jika diset ke False, bobot safetensors tidak dimuat.
  • kwargs (sisa kamus argumen kata kunci, opsional) — Dapat digunakan untuk menimpa variabel load dan saveable (komponen pipeline dari kelas pipeline tertentu). Komponen yang ditimpa diteruskan langsung ke metode __init__ pipeline. Lihat contoh di bawah untuk informasi lebih lanjut.
  • variant (str, opsional) — Muat bobot dari nama file varian yang ditentukan, seperti "fp16" atau "ema".

Membuat instans pipeline difusi Pytorch untuk gambar-ke-gambar dari bobot pipeline yang telah dilatih sebelumnya.

Metode from_pretrained() menangani pengembalian instance kelas pipeline yang tepat dengan cara:

  1. Deteksi kelas pipeline dari pretrained_model_or_path berdasarkan properti _class_name dari objek config-nya
  2. Temukan pipeline image-to-image yang terkait dengan kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Jika argumen controlnet diteruskan, objek StableDiffusionControlNetImg2ImgPipeline akan diinstansiasi.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

Jika Anda menerima pesan kesalahan di bawah ini, Anda perlu melakukan penyesuaian bobot untuk tugas turunan Anda:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> Untuk menggunakan model privat atau berpagar, masuk dengan hf > auth login.

Contoh:

>>> from diffusers import AutoPipelineForImage2Image

>>> pipeline = AutoPipelineForImage2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image).images[0]

from_pipe

< >

( pipeline**kwargs )

Parameter

  • pipeline (DiffusionPipeline) — objek DiffusionPipeline yang telah diinstansiasi

Membuat instans pipeline difusi Pytorch untuk gambar-ke-gambar dari kelas pipeline difusi lain yang sudah diinstansiasi.

Metode from_pipe() menangani pengembalian instance kelas pipeline yang benar dengan menemukan pipeline image-to-image yang terhubung ke kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Semua modul yang terkandung dalam pipeline akan digunakan untuk menginisialisasi pipeline baru tanpa mengalokasikan memori tambahan.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

Contoh:

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_i2i = AutoPipelineForImage2Image.from_pipe(pipe_t2i)
>>> image = pipe_i2i(prompt, image).images[0]

AutoPipelineForInpainting

kelas diffusers.AutoPipelineForInpainting

< >

( *args**kwargs )

AutoPipelineForInpainting adalah kelas pipeline generik yang menginstansiasi kelas pipeline inpainting. Kelas pipeline spesifik yang mendasarinya dipilih secara otomatis dari metode from_pretrained() atau from_pipe().

Kelas ini tidak dapat diinstansiasi menggunakan __init__() (melempar error).

Atribut kelas:

  • config_name (str) — Nama file konfigurasi yang menyimpan nama kelas dan modul dari semua komponen pipeline difusi.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

Parameter

  • pretrained_model_or_path (str atau os.PathLike, opsional) — Dapat berupa:
    • String, repo id (misalnya CompVis/ldm-text2im-large-256) dari pipeline pretrained yang dihosting di Hub.
    • Path ke direktori (misalnya ./my_pipeline_directory/) yang berisi bobot pipeline yang disimpan menggunakan save_pretrained().
  • dtype (str atau torch.dtype, opsional) — Timpa torch.dtype bawaan dan muat model dengan dtype lain.
  • force_download (bool, opsional, default False) — Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang sudah di-cache jika ada.
  • cache_dir (str | os.PathLike, opsional) — Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.
  • proxies (dict[str, str], opsional) — Kamus server proxy yang digunakan berdasarkan protokol atau endpoint, misalnya {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Proxy digunakan pada setiap permintaan.
  • output_loading_info(bool, opsional, defaultnya False) — Apakah akan mengembalikan juga kamus yang berisi kunci yang hilang, kunci yang tidak terduga, dan pesan kesalahan.
  • local_files_only (bool, opsional, default False) — Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke True, model tidak akan diunduh dari Hub.
  • token (str atau bool, opsional) — Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika True, token yang dihasilkan dari diffusers-cli login (disimpan di ~/.huggingface) akan digunakan.
  • revision (str, opsional, default "main") — Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, commit id, atau identifier apa pun yang diizinkan oleh Git.
  • custom_revision (str, opsional, defaultnya "main") — Versi model spesifik yang akan digunakan. Ini bisa berupa nama branch, nama tag, atau commit id yang serupa dengan revision saat memuat pipeline kustom dari Hub. Ini bisa berupa versi 🤗 Diffusers saat memuat pipeline kustom dari GitHub, selain itu defaultnya menjadi "main" saat memuat dari Hub.
  • mirror (str, opsional) — Sumber cermin untuk mengatasi masalah aksesibilitas jika Anda mengunduh model di Tiongkok. Kami tidak menjamin ketepatan waktu atau keamanan sumber, dan Anda harus merujuk ke situs cermin untuk informasi lebih lanjut.
  • device_map (str atau dict[str, int | str | torch.device], opsional) — Peta yang menentukan ke perangkat mana setiap submodul harus ditempatkan. Peta ini tidak perlu didefinisikan untuk setiap nama parameter/buffer; begitu nama modul tertentu sudah termasuk di dalamnya, semua submodulnya akan dikirim ke perangkat yang sama.

    Set device_map="auto" agar 🤗 Accelerate secara otomatis menghitung device_map yang paling teroptimasi. Untuk informasi lebih lanjut tentang setiap opsi, lihat mendesain device map.

  • max_memory (Dict, opsional) — Kamus pengidentifikasi perangkat untuk memori maksimum. Jika tidak diset, nilai defaultnya adalah memori maksimum yang tersedia untuk setiap GPU dan RAM CPU yang tersedia.
  • offload_folder (str atau os.PathLike, opsional) — Path untuk meng-offload bobot jika device_map berisi nilai "disk".
  • offload_state_dict (bool, opsional) — Jika True, state dict CPU akan di-offload sementara ke hard drive untuk menghindari kehabisan RAM CPU jika berat state dict CPU + shard terbesar dari checkpoint tidak muat. Nilainya secara default True jika ada disk offload.
  • low_cpu_mem_usage (bool, opsional, defaultnya True jika versi torch >= 1.9.0 selain itu False) — Percepat pemuatan model dengan hanya memuat bobot pretrained dan tidak menginisialisasi bobot. Ini juga berusaha untuk tidak menggunakan lebih dari 1x ukuran model di memori CPU (termasuk memori puncak) saat memuat model. Hanya didukung untuk PyTorch >= 1.9.0. Jika Anda menggunakan versi PyTorch yang lebih lama, mengatur argumen ini ke True akan memicu error.
  • use_safetensors (bool, opsional, default None) — Jika diset ke None, bobot safetensors akan diunduh jika tersedia dan jika library safetensors terpasang. Jika diset ke True, model dipaksa dimuat dari bobot safetensors. Jika diset ke False, bobot safetensors tidak dimuat.
  • kwargs (sisa kamus argumen kata kunci, opsional) — Dapat digunakan untuk menimpa variabel load dan saveable (komponen pipeline dari kelas pipeline tertentu). Komponen yang ditimpa diteruskan langsung ke metode __init__ pipeline. Lihat contoh di bawah untuk informasi lebih lanjut.
  • variant (str, opsional) — Muat bobot dari nama file varian yang ditentukan, seperti "fp16" atau "ema".

Membuat instans pipeline difusi Pytorch inpainting dari bobot pipeline yang telah dilatih sebelumnya.

Metode from_pretrained() menangani pengembalian instance kelas pipeline yang tepat dengan cara:

  1. Deteksi kelas pipeline dari pretrained_model_or_path berdasarkan properti _class_name dari objek config-nya
  2. Temukan pipeline inpainting yang terhubung ke kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Jika argumen controlnet diteruskan, objek StableDiffusionControlNetInpaintPipeline akan diinstansiasi.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

Jika Anda menerima pesan kesalahan di bawah ini, Anda perlu melakukan penyesuaian bobot untuk tugas turunan Anda:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> Untuk menggunakan model privat atau berpagar, masuk dengan hf > auth login.

Contoh:

>>> from diffusers import AutoPipelineForInpainting

>>> pipeline = AutoPipelineForInpainting.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image=init_image, mask_image=mask_image).images[0]

from_pipe

< >

( pipeline**kwargs )

Parameter

  • pipeline (DiffusionPipeline) — objek DiffusionPipeline yang telah diinstansiasi

Membuat instans pipeline difusi Pytorch inpainting dari kelas pipeline difusi lain yang sudah diinstansiasi.

Metode from_pipe() menangani pengembalian instance kelas pipeline yang benar dengan menemukan pipeline inpainting yang terhubung ke kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Semua modul yang dikandung oleh kelas pipeline akan digunakan untuk menginisialisasi pipeline baru tanpa mengalokasikan memori tambahan.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

Contoh:

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForInpainting

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "DeepFloyd/IF-I-XL-v1.0", requires_safety_checker=False
... )

>>> pipe_inpaint = AutoPipelineForInpainting.from_pipe(pipe_t2i)
>>> image = pipe_inpaint(prompt, image=init_image, mask_image=mask_image).images[0]

AutoPipelineForText2Audio

kelas diffusers.AutoPipelineForText2Audio

< >

( *args**kwargs )

AutoPipelineForText2Audio adalah kelas pipeline generik yang menginstansiasi kelas pipeline text-to-audio. Kelas pipeline spesifik yang mendasarinya dipilih secara otomatis dari metode from_pretrained() atau from_pipe().

Kelas ini tidak dapat diinstansiasi menggunakan __init__() (melempar error).

Atribut kelas:

  • config_name (str) — Nama file konfigurasi yang menyimpan nama kelas dan modul dari semua komponen pipeline difusi.

from_pretrained

< >

( pretrained_model_or_path**kwargs )

Parameter

  • pretrained_model_or_path (str atau os.PathLike, opsional) — Dapat berupa:
    • String, repo id (misalnya stabilityai/stable-audio-open-1.0) dari pipeline pretrained yang dihosting di Hub.
    • Path ke direktori (misalnya ./my_pipeline_directory/) yang berisi bobot pipeline yang disimpan menggunakan save_pretrained().
  • dtype (torch.dtype, opsional) — Timpa torch.dtype bawaan dan muat model dengan dtype lain.
  • force_download (bool, opsional, default False) — Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang sudah di-cache jika ada.
  • cache_dir (str | os.PathLike, opsional) — Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.
  • proxies (dict[str, str], opsional) — Kamus server proxy yang digunakan berdasarkan protokol atau endpoint, misalnya {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Proxy digunakan pada setiap permintaan.
  • output_loading_info(bool, opsional, defaultnya False) — Apakah akan mengembalikan juga kamus yang berisi kunci yang hilang, kunci yang tidak terduga, dan pesan kesalahan.
  • local_files_only (bool, opsional, default False) — Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke True, model tidak akan diunduh dari Hub.
  • token (str atau bool, opsional) — Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika True, token yang dihasilkan dari diffusers-cli login (disimpan di ~/.huggingface) akan digunakan.
  • revision (str, opsional, default "main") — Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, commit id, atau identifier apa pun yang diizinkan oleh Git.
  • custom_revision (str, opsional, defaultnya "main") — Versi model spesifik yang akan digunakan. Ini bisa berupa nama branch, nama tag, atau commit id yang serupa dengan revision saat memuat pipeline kustom dari Hub. Ini bisa berupa versi 🤗 Diffusers saat memuat pipeline kustom dari GitHub, selain itu defaultnya menjadi "main" saat memuat dari Hub.
  • mirror (str, opsional) — Sumber cermin untuk mengatasi masalah aksesibilitas jika Anda mengunduh model di Tiongkok. Kami tidak menjamin ketepatan waktu atau keamanan sumber, dan Anda harus merujuk ke situs cermin untuk informasi lebih lanjut.
  • device_map (str atau dict[str, int | str | torch.device], opsional) — Peta yang menentukan ke perangkat mana setiap submodul harus ditempatkan. Peta ini tidak perlu didefinisikan untuk setiap nama parameter/buffer; begitu nama modul tertentu sudah termasuk di dalamnya, semua submodulnya akan dikirim ke perangkat yang sama.

    Set device_map="auto" agar 🤗 Accelerate secara otomatis menghitung device_map yang paling teroptimasi. Untuk informasi lebih lanjut tentang setiap opsi, lihat mendesain device map.

  • max_memory (Dict, opsional) — Kamus pengidentifikasi perangkat untuk memori maksimum. Jika tidak diset, nilai defaultnya adalah memori maksimum yang tersedia untuk setiap GPU dan RAM CPU yang tersedia.
  • offload_folder (str atau os.PathLike, opsional) — Path untuk meng-offload bobot jika device_map berisi nilai "disk".
  • offload_state_dict (bool, opsional) — Jika True, state dict CPU akan di-offload sementara ke hard drive untuk menghindari kehabisan RAM CPU jika berat state dict CPU + shard terbesar dari checkpoint tidak muat. Nilainya secara default True jika ada disk offload.
  • low_cpu_mem_usage (bool, opsional, defaultnya True jika versi torch >= 1.9.0 selain itu False) — Percepat pemuatan model dengan hanya memuat bobot pretrained dan tidak menginisialisasi bobot. Ini juga berusaha untuk tidak menggunakan lebih dari 1x ukuran model di memori CPU (termasuk memori puncak) saat memuat model. Hanya didukung untuk PyTorch >= 1.9.0. Jika Anda menggunakan versi PyTorch yang lebih lama, mengatur argumen ini ke True akan memicu error.
  • use_safetensors (bool, opsional, default None) — Jika diset ke None, bobot safetensors akan diunduh jika tersedia dan jika library safetensors terpasang. Jika diset ke True, model dipaksa dimuat dari bobot safetensors. Jika diset ke False, bobot safetensors tidak dimuat.
  • kwargs (sisa kamus argumen kata kunci, opsional) — Dapat digunakan untuk menimpa variabel load dan saveable (komponen pipeline dari kelas pipeline tertentu). Komponen yang ditimpa diteruskan langsung ke metode __init__ pipeline. Lihat contoh di bawah untuk informasi lebih lanjut.
  • variant (str, opsional) — Muat bobot dari nama file varian yang ditentukan, seperti "fp16" atau "ema".

Membuat instans pipeline difusi Pytorch dari teks ke audio dari bobot pipeline yang telah dilatih sebelumnya.

Metode from_pretrained() menangani pengembalian instance kelas pipeline yang tepat dengan cara:

  1. Deteksi kelas pipeline dari pretrained_model_or_path berdasarkan properti _class_name dari objek config-nya
  2. Temukan pipeline text-to-audio yang terhubung ke kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

> Untuk menggunakan model privat atau berpagar, masuk dengan hf > auth login.

Contoh:

>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio

>>> pipeline = AutoPipelineForText2Audio.from_pretrained(
...     "stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16
... )
>>> pipeline = pipeline.to("cuda")

>>> output = pipeline(
...     "Generate a male voice reading a paragraph",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipeline.vae.sampling_rate)

from_pipe

< >

( pipeline**kwargs )

Parameter

  • pipeline (DiffusionPipeline) — objek DiffusionPipeline yang telah diinstansiasi

Membuat instans pipeline difusi Pytorch dari teks ke audio dari kelas pipeline difusi lain yang sudah diinstansiasi.

Metode from_pipe() menangani pengembalian instance kelas pipeline yang benar dengan menemukan pipeline text-to-audio yang terhubung ke kelas pipeline menggunakan pencocokan pola pada nama kelas pipeline.

Semua modul yang terkandung dalam pipeline akan digunakan untuk menginisialisasi pipeline baru tanpa mengalokasikan memori tambahan.

Pipeline diatur dalam mode evaluasi (model.eval()) secara default.

>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio, StableAudioPipeline

>>> pipe = StableAudioPipeline.from_pretrained("stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16)

>>> pipe_audio = AutoPipelineForText2Audio.from_pipe(pipe)
>>> output = pipe_audio(
...     "Generate a sound",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipe_audio.vae.sampling_rate)
Update on GitHub

←Ringkasan ACE-Step→