timm documentation
Гибридный Vision Transformer
Гибридный Vision Transformer
Категория: Гибридная · Код: timm/models/vision_transformer_hybrid.py · Архитектуры: 14 · Предобученные веса: 14 (7 с результатами на ImageNet-1k)
Vision Transformers, в которых токены патчей получаются из свёрточного бэкбона (stem или стадии ResNet / ResNetV2), а не из линейного встраивания патчей, с использованием класса VisionTransformer.
Статьи
- Изображение стоит 16x16 слов: трансформеры для распознавания изображений в масштабе
- Как обучить вашу модель ViT? Данные, аугментация и регуляризация в Vision Transformers
- MobileCLIP: быстрые модели «изображение-текст» с помощью мультимодального обучения с подкреплением
- MobileCLIP2: улучшение многомодального обучения с подкреплением
Использование
См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.
>>> import timm
>>> model = timm.create_model('vit_small_r26_s32_224.augreg_in21k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)Поддержка Model API
✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (VisionTransformer с vit_tiny_r_s16_p8_224 при 224); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.
Архитектуры
| Архитектура | Параметры (млн) | GMACs | Размер входных данных | Предобученные веса |
|---|---|---|---|---|
vit_base_mci_224 | 86.35 | 17.73 | 224 | 3 |
vit_base_r26_s32_224 | 101.38 | 6.81 | 224 | 0 |
vit_base_r50_s16_224 | 97.89 | 21.66 | 224 | 1 |
vit_base_r50_s16_384 | 98.95 | 67.43 | 384 | 1 |
vit_base_resnet26d_224 | 101.40 | 6.97 | 224 | 0 |
vit_base_resnet50d_224 | 110.97 | 8.73 | 224 | 0 |
vit_large_r50_s32_224 | 328.99 | 19.58 | 224 | 2 |
vit_large_r50_s32_384 | 329.09 | 57.43 | 384 | 1 |
vit_small_r26_s32_224 | 36.43 | 3.56 | 224 | 2 |
vit_small_r26_s32_384 | 36.47 | 10.43 | 384 | 1 |
vit_small_resnet26d_224 | 63.61 | 5.07 | 224 | 0 |
vit_small_resnet50d_s16_224 | 57.53 | 13.48 | 224 | 0 |
vit_tiny_r_s16_p8_224 | 6.34 | 0.44 | 224 | 2 |
vit_tiny_r_s16_p8_384 | 6.36 | 1.34 | 384 | 1 |
GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.
Предобученные веса
Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.
Веса группируются по источнику: статья или происхождение, указанные в конфигурации предобученной модели, иначе организация на Hugging Face, отличная от timm, иначе первая часть тега предобученной модели (architecture.tag). Источники с одним весом перечислены в разделе
other.
теги агрегации
| Вес | Размер входных данных | Top-1 (%) | Размер выборки для оценки | Классы | Лицензия | Hub |
|---|---|---|---|---|---|---|
vit_large_r50_s32_224.augreg_in21k | 224 | - | - | 21843 | apache-2.0 | timm |
vit_large_r50_s32_224.augreg_in21k_ft_in1k | 224 | 84.434 | 224 | 1000 | apache-2.0 | timm |
vit_large_r50_s32_384.augreg_in21k_ft_in1k | 384 | 86.188 | 384 | 1000 | apache-2.0 | timm |
vit_small_r26_s32_224.augreg_in21k | 224 | - | - | 21843 | apache-2.0 | timm |
vit_small_r26_s32_224.augreg_in21k_ft_in1k | 224 | 81.856 | 224 | 1000 | apache-2.0 | timm |
vit_small_r26_s32_384.augreg_in21k_ft_in1k | 384 | 84.066 | 384 | 1000 | apache-2.0 | timm |
vit_tiny_r_s16_p8_224.augreg_in21k | 224 | - | - | 21843 | apache-2.0 | timm |
vit_tiny_r_s16_p8_224.augreg_in21k_ft_in1k | 224 | 71.800 | 224 | 1000 | apache-2.0 | timm |
vit_tiny_r_s16_p8_384.augreg_in21k_ft_in1k | 384 | 75.962 | 384 | 1000 | apache-2.0 | timm |
orig tags
| Вес | Размер входных данных | Top-1 (%) | Размер выборки для оценки | Классы | Лицензия | Hub |
|---|---|---|---|---|---|---|
vit_base_r50_s16_224.orig_in21k | 224 | - | - | none | apache-2.0 | timm |
vit_base_r50_s16_384.orig_in21k_ft_in1k | 384 | 84.988 | 384 | 1000 | apache-2.0 | timm |
apple
Размещено apple на Hugging Face Hub.
| Вес | Размер входных данных | Top-1 (%) | Размер выборки для оценки | Классы | Лицензия | Hub |
|---|---|---|---|---|---|---|
vit_base_mci_224.apple_mclip | 224 | - | - | 512 | apple-amlr | apple/mobileclip_b_timm |
vit_base_mci_224.apple_mclip_lt | 224 | - | - | 512 | apple-amlr | apple/mobileclip_b_lt_timm |
Другое
| Вес | Размер входных данных | Top-1 (%) | Размер выборки для оценки | Классы | Лицензия | Hub |
|---|---|---|---|---|---|---|
vit_base_mci_224.apple_mclip2_dfndr2b | 224 | - | - | 512 | apple-amlr | timm |