timm documentation

Близнецы

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Близнецы

Категория: ViT · Код: timm/models/twins.py · Архитектуры: 6 · Предобученные веса: 6 (6 с результатами ImageNet-1k)

Twins-PCPVT (Pyramid Vision Transformer с условными позиционными кодировками) и Twins-SVT (пространственно-разделимое само-внимание, локально сгруппированное внимание, чередующееся с глобальным подвыборочным вниманием).

Статьи

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('twins_pcpvt_small.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

ВозможностьTwins
карты признаков features_only=True✓ (шаги 4, 8, 16, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Любой размер входных данных, изменения не требуются✓
set_input_size()–
dynamic_img_size=True–
set_grad_checkpointing()✗
Послойное затухание LR (group_matcher())✓
reset_classifier()✓

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (Twins с twins_svt_small при размере 224); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

АрхитектураПараметры (млн)GMACsРазмер входных данныхПредобученные веса
twins_pcpvt_base43.836.682241
twins_pcpvt_large60.999.842241
twins_pcpvt_small24.113.832241
twins_svt_base56.078.592241
twins_svt_large99.2715.152241
twins_svt_small24.062.942241

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

ВесРазмер входных данныхTop-1 (%)Размер выборки для оценкиКлассыЛицензияHub
twins_pcpvt_base.in1k22482.7242241000apache-2.0timm
twins_pcpvt_large.in1k22483.1582241000apache-2.0timm
twins_pcpvt_small.in1k22481.1162241000apache-2.0timm
twins_svt_base.in1k22483.1222241000apache-2.0timm
twins_svt_large.in1k22483.7182241000apache-2.0timm
twins_svt_small.in1k22481.6942241000apache-2.0timm
Update on GitHub