# EfficientViT (MIT)

**Категория:** Efficient/Mobile · **Код:** [`timm/models/efficientvit_mit.py`](https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/efficientvit_mit.py) · **Архитектуры:** 7 · **Предобученные веса:** 19 (19 с результатами ImageNet-1k)

EfficientViT от MIT Han Lab — визуальный бэкбон для распознавания изображений высокого разрешения с низким вычислительным бюджетом, использующий линейное внимание в нескольких масштабах.

## Статьи

* [EfficientViT: многомасштабное линейное внимание для плотного предсказания высокого разрешения](https://arxiv.org/abs/2205.14756)

## Использование

См. раздел [Быстрый старт](../quickstart) для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел [Извлечение признаков](../feature_extraction) для использования моделей в качестве базовых архитектур.

```py
>>> import timm
>>> model = timm.create_model('efficientvit_b2.r224_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)
```

## Поддержка Model API

| Возможность | `EfficientVit` | `EfficientVitLarge` |
|---|---|---|
| [карты признаков `features_only=True`](../model_api#intermediate-features) | ✓ (шаги 4, 8, 16, 32) | ✓ (шаги 4, 8, 16, 32) |
| [`forward_intermediates()`](../model_api#intermediate-features) | ✓ | ✓ |
| [`prune_intermediate_layers()`](../model_api#intermediate-features) | ✓ | ✓ |
| [Любой размер входных данных, изменения не требуются](../model_api#input-size) | ✓ | ✓ |
| [`set_input_size()`](../model_api#input-size) | – | – |
| [`dynamic_img_size=True`](../model_api#input-size) | – | – |
| [`set_grad_checkpointing()`](../model_api#training-hooks) | ✓ | ✓ |
| [Послойное затухание LR (`group_matcher()`)](../model_api#training-hooks) | ✓ | ✓ |
| [`reset_classifier()`](../model_api#classifier) | ✓ | ✓ |

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (`EfficientVit` с `efficientvit_b0` при 224, `EfficientVitLarge` с `efficientvit_l1` при 224); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице [Model API](../model_api).

## Архитектуры

| Архитектура | Класс | Параметры (млн) | GMACs | Размер входных данных | Предобученные веса |
|---|---|---:|---:|---:|---:|
| `efficientvit_b0` | `EfficientVit` | 3.41 | 0.10 | 224 | 1 |
| `efficientvit_b1` | `EfficientVit` | 9.10 | 0.53 | 224 | 3 |
| `efficientvit_b2` | `EfficientVit` | 24.33 | 1.60 | 224 | 3 |
| `efficientvit_b3` | `EfficientVit` | 48.65 | 3.99 | 224 | 3 |
| `efficientvit_l1` | `EfficientVitLarge` | 52.65 | 5.27 | 224 | 1 |
| `efficientvit_l2` | `EfficientVitLarge` | 63.71 | 6.97 | 224 | 4 |
| `efficientvit_l3` | `EfficientVitLarge` | 246.04 | 27.62 | 224 | 4 |

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно [результатам бенчмарков](https://github.com/huggingface/pytorch-image-models/tree/main/results).

## Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из [`results-imagenet.csv`](https://github.com/huggingface/pytorch-image-models/blob/main/results/results-imagenet.csv) для указанного размера оценки, - если у весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

| Вес | Размер входных данных | Top-1 (%) | Размер выборки для оценки | Классы | Лицензия | Hub |
|---|---:|---:|---:|---:|---|---|
| `efficientvit_b0.r224_in1k` | 224 | 71.408 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b0.r224_in1k) |
| `efficientvit_b1.r224_in1k` | 224 | 79.254 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b1.r224_in1k) |
| `efficientvit_b1.r256_in1k` | 256 | 79.734 | 256 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b1.r256_in1k) |
| `efficientvit_b1.r288_in1k` | 288 | 80.322 | 288 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b1.r288_in1k) |
| `efficientvit_b2.r224_in1k` | 224 | 82.162 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b2.r224_in1k) |
| `efficientvit_b2.r256_in1k` | 256 | 82.712 | 256 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b2.r256_in1k) |
| `efficientvit_b2.r288_in1k` | 288 | 83.078 | 288 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b2.r288_in1k) |
| `efficientvit_b3.r224_in1k` | 224 | 83.444 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b3.r224_in1k) |
| `efficientvit_b3.r256_in1k` | 256 | 83.782 | 256 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b3.r256_in1k) |
| `efficientvit_b3.r288_in1k` | 288 | 84.162 | 288 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_b3.r288_in1k) |
| `efficientvit_l1.r224_in1k` | 224 | 84.464 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l1.r224_in1k) |
| `efficientvit_l2.r224_in1k` | 224 | 85.046 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l2.r224_in1k) |
| `efficientvit_l2.r256_in1k` | 256 | 85.380 | 256 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l2.r256_in1k) |
| `efficientvit_l2.r288_in1k` | 288 | 85.614 | 288 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l2.r288_in1k) |
| `efficientvit_l2.r384_in1k` | 384 | 85.984 | 384 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l2.r384_in1k) |
| `efficientvit_l3.r224_in1k` | 224 | 85.810 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l3.r224_in1k) |
| `efficientvit_l3.r256_in1k` | 256 | 85.952 | 256 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l3.r256_in1k) |
| `efficientvit_l3.r320_in1k` | 320 | 86.230 | 320 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l3.r320_in1k) |
| `efficientvit_l3.r384_in1k` | 384 | 86.396 | 384 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/efficientvit_l3.r384_in1k) |