# HieraDet (SAM 2)

**Catégorie :** ViT · **Code :** [`timm/models/hieradet_sam2.py`](https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/hieradet_sam2.py) · **Architectures :** 5 · **Poids pré-entraînés :** 8 (0 avec des résultats ImageNet-1k)

HieraDet, l'encodeur d'images basé sur Hiera de Segment Anything 2 (SAM 2), avec attention par fenêtres et embeddings de position par fenêtres.

## Articles

* [SAM 2 : Segment Anything dans les images et les vidéos](https://arxiv.org/abs/2408.00714)
* [Hiera : un Vision Transformer hiérarchique sans fioritures](https://arxiv.org/abs/2306.00989)

## Utilisation

Consultez le [Démarrage rapide](../quickstart) pour le chargement des poids pré-entraînés, le prétraitement des images et l’ajustement fin, ainsi que [Extraction de caractéristiques](../feature_extraction) pour utiliser les modèles comme squelettes.

```py
>>> import timm
>>> model = timm.create_model('sam2_hiera_base_plus.fb_r896', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)
```

## Prise en charge de l'API des modèles

| Fonctionnalité | `HieraDet` |
|---|---|
| [cartes de caractéristiques `features_only=True`](../model_api#intermediate-features) | ✓ (pas 4, 8, 16, 32) |
| [`forward_intermediates()`](../model_api#intermediate-features) | ✓ |
| [`prune_intermediate_layers()`](../model_api#intermediate-features) | ✓ |
| [Toute taille d'entrée, aucune modification nécessaire](../model_api#input-size) | ✓ |
| [`set_input_size()`](../model_api#input-size) | – |
| [`dynamic_img_size=True`](../model_api#input-size) | – |
| [`set_grad_checkpointing()`](../model_api#training-hooks) | ✓ |
| [Décroissance du taux d'apprentissage par couche (`group_matcher()`)](../model_api#training-hooks) | ✓ |
| [`reset_classifier()`](../model_api#classifier) | ✓ |

✓ pris en charge, ✓ (carré) fonctionne uniquement pour les tailles carrées, ✗ non pris en charge, – non nécessaire (le modèle accepte déjà n'importe quelle taille d'entrée). Vérifié en exécutant chaque fonctionnalité sur un modèle initialisé aléatoirement (`HieraDet` avec `sam2_hiera_tiny` à 256), les autres architectures de la même classe sont censées se comporter de la même manière. Consultez la page [API du modèle](../model_api) pour plus de détails.

## Architectures

| Architecture | Paramètres (M) | GMACs | Taille d'entrée | Poids pré-entraînés |
|---|---:|---:|---:|---:|
| `hieradet_small` | 34.73 | 8.51 | 256 | 0 |
| `sam2_hiera_base_plus` | 68.68 | 227.48 | 896 | 2 |
| `sam2_hiera_large` | 212.15 | 907.48 | 1024 | 2 |
| `sam2_hiera_small` | 33.95 | 123.99 | 896 | 2 |
| `sam2_hiera_tiny` | 26.85 | 99.86 | 896 | 2 |

Les GMACs et le nombre de paramètres correspondent à la taille d’entrée par défaut et au classifieur de chaque architecture, d’après les [résultats des benchmarks](https://github.com/huggingface/pytorch-image-models/tree/main/results).

## Poids pré-entraînés

Top-1 est la précision de validation sur ImageNet-1k issue de [`results-imagenet.csv`](https://github.com/huggingface/pytorch-image-models/blob/main/results/results-imagenet.csv) à la taille d'évaluation indiquée, - si le poids n'a pas de résultat ImageNet-1k (par exemple, poids de pré-entraînement ou poids image-texte). Classes est la taille du classifieur pré-entraîné, aucune pour les poids sans classifieur.

| Poids | Taille d'entrée | Top-1 (%) | Taille d'évaluation | Classes | Licence | Hub |
|---|---:|---:|---:|---:|---|---|
| `sam2_hiera_base_plus.fb_r896` | 896 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_base_plus.fb_r896) |
| `sam2_hiera_base_plus.fb_r896_2pt1` | 896 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_base_plus.fb_r896_2pt1) |
| `sam2_hiera_large.fb_r1024` | 1024 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_large.fb_r1024) |
| `sam2_hiera_large.fb_r1024_2pt1` | 1024 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_large.fb_r1024_2pt1) |
| `sam2_hiera_small.fb_r896` | 896 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_small.fb_r896) |
| `sam2_hiera_small.fb_r896_2pt1` | 896 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_small.fb_r896_2pt1) |
| `sam2_hiera_tiny.fb_r896` | 896 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_tiny.fb_r896) |
| `sam2_hiera_tiny.fb_r896_2pt1` | 896 | - | - | none | apache-2.0 | [timm](https://huggingface.co/timm/sam2_hiera_tiny.fb_r896_2pt1) |