Transformers documentation
Variabel lingkungan
Variabel lingkungan
Variabel Boolean menerima 1, on, yes, atau true dengan kapitalisasi apa pun. Nilai lain, termasuk yang tidak disetel, dianggap false.
Sebagian besar variabel ini dibaca sekali, saat Transformers diimpor. Atur variabel tersebut di shell Anda sebelum menjalankan Python, atau dengan os.environ sebelum impor. Mengubahnya setelahnya tidak akan berdampak apa pun.
TRANSFORMERS_VERBOSITY=info python run.py
Caching dan akses Hub dikonfigurasi oleh variabel HF_* yang dimiliki oleh huggingface_hub, seperti HF_HOME dan HF_HUB_OFFLINE. Lihat Installation untuk alur kerja offline.
Pencatatan
Transformers mencatat pada warning. Logging mendokumentasikan API Python yang setara, termasuk logging.set_verbosity().
| Variabel | Nilai | Deskripsi |
|---|---|---|
TRANSFORMERS_VERBOSITY | detail, debug, info, warning, error, critical | Tingkat log pustaka. detail sama dengan debug dan menambahkan nama file serta nomor baris ke setiap pesan. Nilai yang tidak dikenali akan mengeluarkan peringatan dan kembali ke warning. |
TRANSFORMERS_NO_ADVISORY_WARNINGS | boolean | Meniadakan peringatan advis, yaitu petunjuk praktik terbaik yang tidak mengindikasikan adanya masalah. |
Memuat model
Shard checkpoint dimuat secara paralel secara default.
| Variabel | Nilai | Deskripsi |
|---|---|---|
HF_DEACTIVATE_ASYNC_LOAD | boolean | Memuat shard di thread utama alih-alih di thread pool. Lebih lambat, tetapi memori puncak lebih mudah dipahami. Pemuatan sudah bersifat berurutan ketika device_map melakukan offload ke disk atau ketika melakukan kuantisasi secara langsung, sehingga ini hanya memengaruhi pemuatan paralel lainnya. |
DISABLE_SAFETENSORS_CONVERSION | boolean | Mencegah Transformers meminta bot konversi Hub untuk versi safetensors dari repositori yang hanya menyediakan bobot PyTorch .bin. Berguna untuk diatur di CI, di mana permintaan tersebut menambah latensi dan ketidakstabilan jaringan. |
Kernel dan backend
Kernel yang dioptimalkan diunduh dari Hub saat kernels diinstal dan perangkat keras mendukungnya. Nonaktifkan kernel tersebut untuk mengisolasi perbedaan numerik atau crash.
| Variabel | Nilai | Deskripsi |
|---|---|---|
USE_HUB_KERNELS | boolean, diaktifkan secara default | Setel ke nilai false untuk kembali ke implementasi referensi. |
TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR | 1 | Memaksa penggunaan fallback Triton alih-alih DeepGEMM untuk lapisan linear FP8 dalam kuantisasi FP8 finegrained. |
TRANSFORMERS_DISABLE_TORCH_CHECK | 1 | Melewati pemeriksaan versi minimum PyTorch saat impor. |
TRANSFORMERS_SDPA_FORCE_GQA | 1 | Memaksa PyTorch SDPA untuk menggunakan enable_gqa=True untuk grouped-query attention. Jika tidak, Transformers memilih antara mengatur enable_gqa=True dan mengulang key/value heads. |
Update on GitHub
TRANSFORMERS_DISABLE_TORCH_CHECKmenghapus pengaman, bukan mengubah perilaku. Pada versi PyTorch yang tidak didukung, Anda akan mendapatkan error impor atau hasil yang salah secara diam-diam, alih-alih pesan yang jelas.