FastViT

Kategori: Efficient/Mobile · Kode: timm/models/fastvit.py · Arsitektur: 12 · Bobot terlatih: 21 (14 dengan hasil ImageNet-1k)

FastViT adalah jaringan hibrida konvolusional / transformer yang menggunakan reparameterisasi struktural untuk menghapus koneksi skip saat inferensi. Modul ini juga mencakup encoder gambar MobileCLIP (fastvit_mci*).

Makalah

Penggunaan

Lihat Quickstart untuk memuat bobot terlatih, prapemrosesan gambar, dan penyesuaian halus, serta Ekstraksi Fitur untuk menggunakan model sebagai tulang punggung.

>>> import timm
>>> model = timm.create_model('fastvit_sa24.apple_dist_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Dukungan API Model

Fitur	`FastVit`
feature maps `features_only=True`	✓ (strides 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
Ukuran input apa pun, tidak perlu perubahan	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✓
Penurunan LR per lapisan (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ didukung, ✓ (persegi) hanya berfungsi untuk ukuran persegi, ✗ tidak didukung, – tidak diperlukan (model sudah menerima ukuran input apa pun). Diperiksa dengan menjalankan setiap fitur pada model yang diinisialisasi secara acak (FastVit dengan fastvit_t8 pada 256), arsitektur lain dari kelas yang sama diharapkan berperilaku sama. Lihat halaman Model API untuk detailnya.

Arsitektur

Arsitektur	Parameter (M)	GMACs	Ukuran input	Bobot terlatih
`fastvit_ma36`	43.98	7.82	256	2
`fastvit_mci0`	11.36	2.39	256	2
`fastvit_mci1`	21.46	4.67	256	1
`fastvit_mci2`	35.70	7.85	256	2
`fastvit_mci3`	125.07	14.82	256	1
`fastvit_mci4`	321.57	27.78	256	1
`fastvit_s12`	9.43	1.80	256	2
`fastvit_sa12`	11.55	1.94	256	2
`fastvit_sa24`	21.50	3.77	256	2
`fastvit_sa36`	31.46	5.59	256	2
`fastvit_t8`	4.00	0.69	256	2
`fastvit_t12`	7.51	1.39	256	2

GMACs dan jumlah parameter adalah untuk ukuran input dan klasifer default dari setiap arsitektur, dari hasil benchmark.

Bobot terlatih

Top-1 adalah akurasi validasi ImageNet-1k dari results-imagenet.csv pada ukuran eval yang tercantum, - jika bobot tidak memiliki hasil ImageNet-1k (misalnya bobot pretraining atau image-text). Classes adalah ukuran dari classifier pretrained, none untuk bobot yang tidak memilikinya.

Bobot dikelompokkan berdasarkan sumber: paper atau asal yang diberikan dalam konfigurasi pretrained, jika tidak ada maka organisasi Hub selain timm, jika tidak ada maka bagian pertama dari tag pretrained (architecture.tag). Sumber dengan satu bobot terdaftar di bawah other.

apple tags

Bobot	Ukuran input	Top-1 (%)	Ukuran evaluasi	Kelas	Lisensi	Hub
`fastvit_ma36.apple_dist_in1k`	256	84.608	256	1000	fastvit-license	timm
`fastvit_ma36.apple_in1k`	256	83.884	256	1000	fastvit-license	timm
`fastvit_mci0.apple_mclip2_dfndr2b`	256	-	-	512	apple-amlr	timm
`fastvit_mci2.apple_mclip2_dfndr2b`	256	-	-	512	apple-amlr	timm
`fastvit_mci3.apple_mclip2_dfndr2b`	256	-	-	768	apple-amlr	timm
`fastvit_mci4.apple_mclip2_dfndr2b`	256	-	-	768	apple-amlr	timm
`fastvit_s12.apple_dist_in1k`	256	81.074	256	1000	fastvit-license	timm
`fastvit_s12.apple_in1k`	256	79.882	256	1000	fastvit-license	timm
`fastvit_sa12.apple_dist_in1k`	256	81.838	256	1000	fastvit-license	timm
`fastvit_sa12.apple_in1k`	256	80.846	256	1000	fastvit-license	timm
`fastvit_sa24.apple_dist_in1k`	256	83.368	256	1000	fastvit-license	timm
`fastvit_sa24.apple_in1k`	256	82.706	256	1000	fastvit-license	timm
`fastvit_sa36.apple_dist_in1k`	256	84.028	256	1000	fastvit-license	timm
`fastvit_sa36.apple_in1k`	256	83.502	256	1000	fastvit-license	timm
`fastvit_t8.apple_dist_in1k`	256	77.170	256	1000	fastvit-license	timm
`fastvit_t8.apple_in1k`	256	76.184	256	1000	fastvit-license	timm
`fastvit_t12.apple_dist_in1k`	256	80.364	256	1000	fastvit-license	timm
`fastvit_t12.apple_in1k`	256	79.276	256	1000	fastvit-license	timm

apple

Dihosting oleh apple di Hugging Face Hub.

Bobot	Ukuran input	Top-1 (%)	Ukuran evaluasi	Kelas	Lisensi	Hub
`fastvit_mci0.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s0_timm
`fastvit_mci1.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s1_timm
`fastvit_mci2.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s2_timm

Update on GitHub