timm documentation

Гибридный Vision Transformer

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Гибридный Vision Transformer

Категория: Гибридная · Код: timm/models/vision_transformer_hybrid.py · Архитектуры: 14 · Предобученные веса: 14 (7 с результатами на ImageNet-1k)

Vision Transformers, в которых токены патчей получаются из свёрточного бэкбона (stem или стадии ResNet / ResNetV2), а не из линейного встраивания патчей, с использованием класса VisionTransformer.

Статьи

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('vit_small_r26_s32_224.augreg_in21k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

ВозможностьVisionTransformer
карты признаков features_only=True✓ (шаги 32, 32, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Любой размер входных данных, изменения не требуются✗
set_input_size()✓
dynamic_img_size=True✓
set_grad_checkpointing()✓
Послойное затухание LR (group_matcher())✓
reset_classifier()✓

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (VisionTransformer с vit_tiny_r_s16_p8_224 при 224); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

АрхитектураПараметры (млн)GMACsРазмер входных данныхПредобученные веса
vit_base_mci_22486.3517.732243
vit_base_r26_s32_224101.386.812240
vit_base_r50_s16_22497.8921.662241
vit_base_r50_s16_38498.9567.433841
vit_base_resnet26d_224101.406.972240
vit_base_resnet50d_224110.978.732240
vit_large_r50_s32_224328.9919.582242
vit_large_r50_s32_384329.0957.433841
vit_small_r26_s32_22436.433.562242
vit_small_r26_s32_38436.4710.433841
vit_small_resnet26d_22463.615.072240
vit_small_resnet50d_s16_22457.5313.482240
vit_tiny_r_s16_p8_2246.340.442242
vit_tiny_r_s16_p8_3846.361.343841

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

Веса группируются по источнику: статья или происхождение, указанные в конфигурации предобученной модели, иначе организация на Hugging Face, отличная от timm, иначе первая часть тега предобученной модели (architecture.tag). Источники с одним весом перечислены в разделе other.

теги агрегации

ВесРазмер входных данныхTop-1 (%)Размер выборки для оценкиКлассыЛицензияHub
vit_large_r50_s32_224.augreg_in21k224--21843apache-2.0timm
vit_large_r50_s32_224.augreg_in21k_ft_in1k22484.4342241000apache-2.0timm
vit_large_r50_s32_384.augreg_in21k_ft_in1k38486.1883841000apache-2.0timm
vit_small_r26_s32_224.augreg_in21k224--21843apache-2.0timm
vit_small_r26_s32_224.augreg_in21k_ft_in1k22481.8562241000apache-2.0timm
vit_small_r26_s32_384.augreg_in21k_ft_in1k38484.0663841000apache-2.0timm
vit_tiny_r_s16_p8_224.augreg_in21k224--21843apache-2.0timm
vit_tiny_r_s16_p8_224.augreg_in21k_ft_in1k22471.8002241000apache-2.0timm
vit_tiny_r_s16_p8_384.augreg_in21k_ft_in1k38475.9623841000apache-2.0timm

orig tags

ВесРазмер входных данныхTop-1 (%)Размер выборки для оценкиКлассыЛицензияHub
vit_base_r50_s16_224.orig_in21k224--noneapache-2.0timm
vit_base_r50_s16_384.orig_in21k_ft_in1k38484.9883841000apache-2.0timm

apple

Размещено apple на Hugging Face Hub.

ВесРазмер входных данныхTop-1 (%)Размер выборки для оценкиКлассыЛицензияHub
vit_base_mci_224.apple_mclip224--512apple-amlrapple/mobileclip_b_timm
vit_base_mci_224.apple_mclip_lt224--512apple-amlrapple/mobileclip_b_lt_timm

Другое

ВесРазмер входных данныхTop-1 (%)Размер выборки для оценкиКлассыЛицензияHub
vit_base_mci_224.apple_mclip2_dfndr2b224--512apple-amlrtimm
Update on GitHub