MaxViT et CoAtNet

Catégorie : Hybride · Code : timm/models/maxxvit.py · Architectures : 58 · Poids pré-entraînés : 52 (43 avec des résultats ImageNet-1k)

Implémentations de zéro de MaxViT (blocs MBConv avec attention multi-axes, attention locale et dilatée sur grille bloquée) et CoAtNet (étapes de convolution suivies d'étapes d'attention relative), ainsi que des variantes timm (configurations _rw, MaxxViT).

Articles

• MaxViT : Vision Transformer multi-axes
• CoAtNet : marier convolution et attention pour toutes les tailles de données

Utilisation

Consultez le Démarrage rapide pour le chargement des poids pré-entraînés, le prétraitement des images et l’ajustement fin, ainsi que Extraction de caractéristiques pour utiliser les modèles comme squelettes.

>>> import timm
>>> model = timm.create_model('maxxvitv2_nano_rw_256.sw_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Prise en charge de l'API des modèles

✓ pris en charge, ✓ (carré) fonctionne uniquement pour les tailles carrées, ✗ non pris en charge, – non nécessaire (le modèle accepte déjà n'importe quelle taille d'entrée). Vérifié en exécutant chaque fonctionnalité sur un modèle initialisé aléatoirement (MaxxVit avec maxvit_pico_rw_256 à 256), les autres architectures de la même classe sont censées se comporter de la même manière. Consultez la page API du modèle pour plus de détails.

Architectures

Les GMACs et le nombre de paramètres correspondent à la taille d’entrée par défaut et au classifieur de chaque architecture, d’après les résultats des benchmarks.

Poids pré-entraînés

Top-1 est la précision de validation sur ImageNet-1k issue de results-imagenet.csv à la taille d'évaluation indiquée, - si le poids n'a pas de résultat ImageNet-1k (par exemple, poids de pré-entraînement ou poids image-texte). Classes est la taille du classifieur pré-entraîné, aucune pour les poids sans classifieur.

Citation

@article{tu2022maxvit,
  title={MaxViT: Multi-Axis Vision Transformer},
  author={Tu, Zhengzhong and Talebi, Hossein and Zhang, Han and Yang, Feng and Milanfar, Peyman and Bovik, Alan and Li, Yinxiao},
  journal={ECCV},
  year={2022},
}

@article{DBLP:journals/corr/abs-2106-04803,
  author    = {Zihang Dai and Hanxiao Liu and Quoc V. Le and Mingxing Tan},
  title     = {CoAtNet: Marrying Convolution and Attention for All Data Sizes},
  journal   = {CoRR},
  volume    = {abs/2106.04803},
  year      = {2021}
}