timm

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.0.31).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

FastViT

Категория: Efficient/Mobile · Код: timm/models/fastvit.py · Архитектуры: 12 · Предобученные веса: 21 (14 с результатами ImageNet-1k)

FastViT — это гибридная свёрточно-трансформерная сеть, которая использует структурную репараметризацию для удаления skip-соединений на этапе инференса. Модуль также включает в себя кодировщики изображений MobileCLIP (fastvit_mci*).

Статьи

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('fastvit_sa24.apple_dist_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

Возможность	`FastVit`
карты признаков `features_only=True`	✓ (шаги 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
Любой размер входных данных, изменения не требуются	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✓
Послойное затухание LR (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (FastVit с fastvit_t8 при размере 256); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

Архитектура	Параметры (млн)	GMACs	Размер входных данных	Предобученные веса
`fastvit_ma36`	43.98	7.82	256	2
`fastvit_mci0`	11.36	2.39	256	2
`fastvit_mci1`	21.46	4.67	256	1
`fastvit_mci2`	35.70	7.85	256	2
`fastvit_mci3`	125.07	14.82	256	1
`fastvit_mci4`	321.57	27.78	256	1
`fastvit_s12`	9.43	1.80	256	2
`fastvit_sa12`	11.55	1.94	256	2
`fastvit_sa24`	21.50	3.77	256	2
`fastvit_sa36`	31.46	5.59	256	2
`fastvit_t8`	4.00	0.69	256	2
`fastvit_t12`	7.51	1.39	256	2

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

Веса группируются по источнику: статья или происхождение, указанные в конфигурации предобученной модели, иначе организация на Hugging Face, отличная от timm, иначе первая часть тега предобученной модели (architecture.tag). Источники с одним весом перечислены в разделе other.

apple tags

Вес	Размер входных данных	Top-1 (%)	Размер выборки для оценки	Классы	Лицензия	Hub
`fastvit_ma36.apple_dist_in1k`	256	84.608	256	1000	fastvit-license	timm
`fastvit_ma36.apple_in1k`	256	83.884	256	1000	fastvit-license	timm
`fastvit_mci0.apple_mclip2_dfndr2b`	256	-	-	512	apple-amlr	timm
`fastvit_mci2.apple_mclip2_dfndr2b`	256	-	-	512	apple-amlr	timm
`fastvit_mci3.apple_mclip2_dfndr2b`	256	-	-	768	apple-amlr	timm
`fastvit_mci4.apple_mclip2_dfndr2b`	256	-	-	768	apple-amlr	timm
`fastvit_s12.apple_dist_in1k`	256	81.074	256	1000	fastvit-license	timm
`fastvit_s12.apple_in1k`	256	79.882	256	1000	fastvit-license	timm
`fastvit_sa12.apple_dist_in1k`	256	81.838	256	1000	fastvit-license	timm
`fastvit_sa12.apple_in1k`	256	80.846	256	1000	fastvit-license	timm
`fastvit_sa24.apple_dist_in1k`	256	83.368	256	1000	fastvit-license	timm
`fastvit_sa24.apple_in1k`	256	82.706	256	1000	fastvit-license	timm
`fastvit_sa36.apple_dist_in1k`	256	84.028	256	1000	fastvit-license	timm
`fastvit_sa36.apple_in1k`	256	83.502	256	1000	fastvit-license	timm
`fastvit_t8.apple_dist_in1k`	256	77.170	256	1000	fastvit-license	timm
`fastvit_t8.apple_in1k`	256	76.184	256	1000	fastvit-license	timm
`fastvit_t12.apple_dist_in1k`	256	80.364	256	1000	fastvit-license	timm
`fastvit_t12.apple_in1k`	256	79.276	256	1000	fastvit-license	timm

apple

Размещено apple на Hugging Face Hub.

Вес	Размер входных данных	Top-1 (%)	Размер выборки для оценки	Классы	Лицензия	Hub
`fastvit_mci0.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s0_timm
`fastvit_mci1.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s1_timm
`fastvit_mci2.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s2_timm

Update on GitHub

←FasterNet GhostNet→