Vision Transformer (ViT)

Kategori: ViT · Kode: timm/models/vision_transformer.py · Arsitektur: 163 · Bobot terlatih: 309 (96 dengan hasil ImageNet-1k)

Vision Transformer (ViT) membagi gambar menjadi patch berukuran tetap, melakukan embedding linear pada patch tersebut, dan memproses urutan token yang dihasilkan dengan encoder Transformer standar. Modul ini berisi kelas VisionTransformer dan bobot untuk model ViT asli, model “How to train your ViT?” (AugReg) dan FlexiViT, serta banyak menara gambar pra-terlatih berbasis gambar-teks (CLIP, SigLIP) dan self-supervised yang berbagi arsitektur yang sama.

Makalah

• Sebuah Gambar Bernilai 16x16 Kata: Transformers untuk Pengenalan Gambar dalam Skala Besar
• Cara melatih ViT Anda: Data, Augmentation, dan Regularisasi dalam Vision Transformers
• FlexiViT: Satu Model untuk Semua Ukuran Patch
• Skala Vision Transformers
• Tiga hal yang harus diketahui semua orang tentang Vision Transformers
• Skala Vision Transformers hingga 22 Miliar Parameter
• Membentuk ViT: Hukum Skala untuk Desain Model yang Optimal Komputasi
• Vision Transformers Membutuhkan Register
• Differential Transformer
• Kapan Vision Transformers Melampaui ResNets Tanpa Pra-pelatihan atau Penguatan Data yang Kuat
• Pretraining ImageNet-21K untuk Semua Orang
• Sifat yang Muncul pada Vision Transformer Berlatih Diri
• DINOv2: Mempelajari Fitur Visual yang Robust Tanpa Supervisi
• Masked Autoencoders adalah Pembelajar Visi yang Skalabel
• Pembelajaran Tanpa Pengawas dari Gambar dengan Arsitektur Prediktif Penyematan Bersama
• EVA: Menjelajahi Batasan Pembelajaran Representasi Visual yang Ditutupi dalam Skala Besar
• Citra sebagai Bahasa Asing: Pra-pelatihan BEiT untuk Semua Tugas Visi dan Visi-Bahasa
• Prapelatihan Autoregresif Multimodal untuk Encoder Visi Besar
• Mempelajari Model Visual yang Dapat Dipindahkan dari Supervisi Bahasa Alami
• Hukum penskalaan yang dapat direproduksi untuk pembelajaran bahasa-gambar kontrastif
• DataComp: Mencari dataset multimodal generasi berikutnya
• Jaringan Penyaringan Data
• Mengungkap Data CLIP
• Secara Keseluruhan: Image Captioning melalui Penyelarasan Ulang Alt-text
• Meta CLIP 2: Resep Skala Global
• TinyCLIP: Distilasi CLIP melalui Meniru Afinitas dan Pewarisan Bobot
• MobileCLIP2: Meningkatkan Pelatihan Penguatan Multi-Modal
• Loss Sigmoid untuk Pra-Pelatihan Bahasa dan Gambar
• SigLIP 2: Encoder Visi-Bahasa Multibahasa dengan Pemahaman Semantik, Lokalisasi, dan Fitur Padat yang Ditingkatkan
• PaliGemma: VLM 3B serbaguna untuk transfer
• PaliGemma 2: Keluarga VLM Serbaguna untuk Transfer
• TIPSv2: Mendorong Pra-pelatihan Visi-Bahasa dengan Penyelarasan Patch-Teks yang Ditingkatkan
• Mini-InternVL: Model Multimodal Pocket dengan Transfer Fleksibel, 5% Parameter, dan 90% Performa
• Mengembangkan Batas Kinerja Model Multimodal Open-Source dengan Skala Model, Data, dan Waktu Uji

Dirujuk oleh bobot pretrained:

• arXiv:2203.07845
• arXiv:2412.07679
• arXiv:2601.17237

Penggunaan

Lihat Quickstart untuk memuat bobot terlatih, prapemrosesan gambar, dan penyesuaian halus, serta Ekstraksi Fitur untuk menggunakan model sebagai tulang punggung.

>>> import timm
>>> model = timm.create_model('vit_base_patch16_224.augreg2_in21k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Dukungan API Model

✓ didukung, ✓ (persegi) hanya berfungsi untuk ukuran persegi, ✗ tidak didukung, – tidak diperlukan (model sudah menerima ukuran input apa pun). Diperiksa dengan menjalankan setiap fitur pada model yang diinisialisasi secara acak (VisionTransformer dengan vit_tiny_patch16_224 pada 224), arsitektur lain dari kelas yang sama diharapkan berperilaku sama. Lihat halaman Model API untuk detailnya.

Arsitektur

GMACs dan jumlah parameter adalah untuk ukuran input dan klasifer default dari setiap arsitektur, dari hasil benchmark.

Bobot terlatih

Top-1 adalah akurasi validasi ImageNet-1k dari results-imagenet.csv pada ukuran eval yang tercantum, - jika bobot tidak memiliki hasil ImageNet-1k (misalnya bobot pretraining atau image-text). Classes adalah ukuran dari classifier pretrained, none untuk bobot yang tidak memilikinya.

Bobot dikelompokkan berdasarkan sumber: paper atau asal yang diberikan dalam konfigurasi pretrained, jika tidak ada maka organisasi Hub selain timm, jika tidak ada maka bagian pertama dari tag pretrained (architecture.tag). Sumber dengan satu bobot terdaftar di bawah other.

tag v2

tag webli

tag sbb

tag agreg

tag laion2b

tag openai

metaclip tag

apple tags

tag pali

lvd142m tag

tag asli

pali2 tag

tag sbb2

laion400m tag

metaclip2 tag

datacompxl tag

dfn2b tags

dfn5b tags

dino tags

tag indomain

sw tag

tinyclip tag

arXiv:2412.07679

Konfigurasi pra-terlatih merujuk ke arXiv:2412.07679.

mae tag

tag augreg2

tag ogvl

tag sam

arXiv:2601.17237

Konfigurasi pra-terlatih merujuk ke arXiv:2601.17237.

Lainnya