timm documentation

VOLO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

VOLO

Kategori: ViT · Kode: timm/models/volo.py · Arsitektur: 11 · Bobot terlatih: 11 (11 dengan hasil ImageNet-1k)

Vision Outlooker (VOLO) menambahkan outlook attention, yang mengkodekan fitur tingkat halus dari lingkungan lokal, sebelum tahap transformer yang beroperasi pada token yang lebih kasar.

Makalah

Penggunaan

Lihat Quickstart untuk memuat bobot terlatih, prapemrosesan gambar, dan penyesuaian halus, serta Ekstraksi Fitur untuk menggunakan model sebagai tulang punggung.

>>> import timm
>>> model = timm.create_model('volo_d1_224.sail_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Dukungan API Model

FiturVOLO
feature maps features_only=True✓ (strides 16, 16, 16)
forward_intermediates()✓
prune_intermediate_layers()✓
Ukuran input apa pun, tidak perlu perubahan✗
set_input_size()✗
dynamic_img_size=True✗
set_grad_checkpointing()✓
Penurunan LR per lapisan (group_matcher())✓
reset_classifier()✓

✓ didukung, ✓ (persegi) hanya berfungsi untuk ukuran persegi, ✗ tidak didukung, – tidak diperlukan (model sudah menerima ukuran input apa pun). Diperiksa dengan menjalankan setiap fitur pada model yang diinisialisasi secara acak (VOLO dengan volo_d1_224 pada 224), arsitektur lain dari kelas yang sama diharapkan berperilaku sama. Lihat halaman Model API untuk detailnya.

Arsitektur

ArsitekturParameter (M)GMACsUkuran inputBobot terlatih
volo_d1_22426.636.942241
volo_d1_38426.7822.753841
volo_d2_22458.6814.342241
volo_d2_38458.8746.173841
volo_d3_22486.3320.782241
volo_d3_44886.6396.334481
volo_d4_224192.9644.342241
volo_d4_448193.41197.134481
volo_d5_224295.4672.402241
volo_d5_448295.91315.064481
volo_d5_512296.09425.095121

GMACs dan jumlah parameter adalah untuk ukuran input dan klasifer default dari setiap arsitektur, dari hasil benchmark.

Bobot terlatih

Top-1 adalah akurasi validasi ImageNet-1k dari results-imagenet.csv pada ukuran eval yang tercantum, - jika bobot tidak memiliki hasil ImageNet-1k (misalnya bobot pretraining atau image-text). Classes adalah ukuran dari classifier pretrained, none untuk bobot yang tidak memilikinya.

BobotUkuran inputTop-1 (%)Ukuran evaluasiKelasLisensiHub
volo_d1_224.sail_in1k22484.1482241000apache-2.0timm
volo_d1_384.sail_in1k38485.2623841000apache-2.0timm
volo_d2_224.sail_in1k22485.2042241000apache-2.0timm
volo_d2_384.sail_in1k38486.0543841000apache-2.0timm
volo_d3_224.sail_in1k22485.4402241000apache-2.0timm
volo_d3_448.sail_in1k44886.5144481000apache-2.0timm
volo_d4_224.sail_in1k22485.8682241000apache-2.0timm
volo_d4_448.sail_in1k44886.7884481000apache-2.0timm
volo_d5_224.sail_in1k22486.0762241000apache-2.0timm
volo_d5_448.sail_in1k44886.9744481000apache-2.0timm
volo_d5_512.sail_in1k51287.0685121000apache-2.0timm
Update on GitHub