timm documentation
NaFlex ViT
NaFlex ViT
Kategori: ViT · Kod: timm/models/naflexvit.py · Mimariler: 14 · Önceden eğitilmiş ağırlıklar: 11 (3'ü ImageNet-1k sonuçlarıyla)
Patch gömme ve konum kodlamayı tek bir modülde barındıran, değişken en-boy oranı ve çözünürlüğe sahip önceden patch'lenmiş girdileri (NaFlex), FlexiViT değişken patch boyutunu ve NaViT faktörize konum gömmelerini destekleyen bir Vision Transformer.
Makaleler
- Bir Görsel 16x16 Kelimeye Bedeldir: Ölçekli Görsel Tanıma için Dönüşümcüler
- FlexiViT: Tüm Yama Boyutları İçin Tek Model
- Patch n’ Pack: Her En-boy Oranı ve Çözünürlük için Bir Görüntü Dönüşümü olan NaViT
- SigLIP 2: Geliştirilmiş Semantik Anlama, Konumlandırma ve Yoğun Özelliklere Çok Dilli Görüntü-Dil Kodlayıcıları
Önceden eğitilmiş ağırlıklarla referans alınır:
Kullanım
Önceden eğitilmiş ağırlıkları yükleme, görüntü ön işleme ve ince ayar için Hızlı Başlangıç bölümüne, modelleri omurga olarak kullanmak için ise Özellik Çıkarımı bölümüne bakın.
>>> import timm
>>> model = timm.create_model('naflexvit_base_patch16_parfac_gap.e300_s576_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)Model API desteği
✓ destekleniyor, ✓ (kare) yalnızca kare boyutlarda çalışır, ✗ desteklenmiyor, – gerekli değil (model zaten herhangi bir giriş boyutunu kabul eder). Her özellik, rastgele başlatılmış bir model üzerinde çalıştırılarak kontrol edilir (NaFlexVit, 384 boyutunda naflexvit_base_patch16_parfac_gap), aynı sınıftaki diğer mimarilerin de aynı şekilde davranması beklenir. Ayrıntılar için Model API sayfasına bakın.
Mimariler
| Mimari | Parametreler (M) | GMAC'lar | Girdi boyutu | Önceden eğitilmiş ağırlıklar |
|---|---|---|---|---|
naflexvit_base_patch16_gap | 86.63 | 55.86 | 384 | 1 |
naflexvit_base_patch16_map | 93.72 | 56.23 | 384 | 0 |
naflexvit_base_patch16_par_gap | 86.63 | 55.86 | 384 | 1 |
naflexvit_base_patch16_parfac_gap | 86.46 | 55.86 | 384 | 1 |
naflexvit_base_patch16_radio_v3 | 98.25 | - | 512 | 1 |
naflexvit_base_patch16_siglip | 92.93 | 56.12 | 384 | 1 |
naflexvit_giant_patch16_radio_v3 | 1159.62 | - | 512 | 1 |
naflexvit_huge_patch16_radio_v3 | 651.64 | - | 512 | 1 |
naflexvit_huge_patch16_radio_v4 | 651.65 | - | 512 | 1 |
naflexvit_large_patch16_radio_v3 | 319.93 | - | 512 | 1 |
naflexvit_so150m2_patch16_reg1_gap | 136.06 | 89.53 | 384 | 0 |
naflexvit_so150m2_patch16_reg1_map | 142.46 | 90.33 | 384 | 0 |
naflexvit_so400m_patch16_radio_v4 | 431.24 | - | 512 | 1 |
naflexvit_so400m_patch16_siglip | 427.89 | 259.65 | 384 | 1 |
GMAC'lar ve parametre sayıları, her mimarinin varsayılan giriş boyutu ve sınıflandırıcısı içindir ve benchmark sonuçlarından alınmıştır.
Önceden eğitilmiş ağırlıklar
Top-1, belirtilen değerlendirme boyutunda results-imagenet.csv dosyasındaki ImageNet-1k doğrulama doğruluğudur; ağırlığın ImageNet-1k sonucu yoksa (ör. ön eğitim veya görsel-metin ağırlıkları) bu değer "-" olarak gösterilir. Classes, ön eğitilmiş sınıflandırıcının boyutudur; sınıflandırıcısı olmayan ağırlıklar için bu değer "none"dur.
Ağırlıklar kaynağa göre gruplandırılır: önceden eğitilmiş yapılandırmada belirtilen makale veya köken, aksi halde timm dışında bir Hub kuruluşu, aksi halde önceden eğitilmiş etiketin ilk kısmı (architecture.tag). Tek bir ağırlığı olan kaynaklar
other altında listelenir.
arXiv:2412.07679
Önceden eğitilmiş yapılandırmalar arXiv:2412.07679 makalesine atıfta bulunur.
| Ağırlık | Girdi boyutu | En iyi 1 (%) | Değerlendirme boyutu | Sınıflar | Lisans | Hub |
|---|---|---|---|---|---|---|
naflexvit_base_patch16_radio_v3.c_radio | 512 | - | - | none | nvidia-open-model-license | timm |
naflexvit_giant_patch16_radio_v3.c_radio | 512 | - | - | none | nvidia-open-model-license | timm |
naflexvit_huge_patch16_radio_v3.c_radio | 512 | - | - | none | nvidia-open-model-license | timm |
naflexvit_large_patch16_radio_v3.c_radio | 512 | - | - | none | nvidia-open-model-license | timm |
v2 etiketleri
| Ağırlık | Girdi boyutu | En iyi 1 (%) | Değerlendirme boyutu | Sınıflar | Lisans | Hub |
|---|---|---|---|---|---|---|
naflexvit_base_patch16_siglip.v2_webli | 384 | - | - | none | apache-2.0 | timm |
naflexvit_so400m_patch16_siglip.v2_webli | 384 | - | - | none | apache-2.0 | timm |
arXiv:2601.17237
Önceden eğitilmiş yapılandırmalar arXiv:2601.17237 makalesine atıfta bulunur.
| Ağırlık | Girdi boyutu | En iyi 1 (%) | Değerlendirme boyutu | Sınıflar | Lisans | Hub |
|---|---|---|---|---|---|---|
naflexvit_huge_patch16_radio_v4.c_radio | 512 | - | - | none | nvidia-open-model-license | timm |
naflexvit_so400m_patch16_radio_v4.c_radio | 512 | - | - | none | nvidia-open-model-license | timm |
Diğer
| Ağırlık | Girdi boyutu | En iyi 1 (%) | Değerlendirme boyutu | Sınıflar | Lisans | Hub |
|---|---|---|---|---|---|---|
naflexvit_base_patch16_gap.e300_s576_in1k | 384 | 83.340 | 384 | 1000 | apache-2.0 | timm |
naflexvit_base_patch16_par_gap.e300_s576_in1k | 384 | 83.508 | 384 | 1000 | apache-2.0 | timm |
naflexvit_base_patch16_parfac_gap.e300_s576_in1k | 384 | 83.468 | 384 | 1000 | apache-2.0 | timm |