timm documentation

Swin Transformer V2

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Swin Transformer V2

Categoría: ViT · Código: timm/models/swin_transformer_v2.py · Arquitecturas: 12 · Pesos preentrenados: 12 (10 con resultados en ImageNet-1k)

Swin Transformer V2 escala Swin con normalización residual posterior, atención coseno escalada y un sesgo de posición relativa continua espaciado en escala logarítmica que se transfiere entre tamaños de ventana.

Papers

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('swinv2_tiny_window16_256.ms_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

CaracterísticaSwinTransformerV2
mapas de características de features_only=True✓ (pasos 4, 8, 16, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Cualquier tamaño de entrada, no se necesitan cambios✗
set_input_size()✓
dynamic_img_size=True✓
set_grad_checkpointing()✓
Decaimiento del LR por capa (group_matcher())✓
reset_classifier()✓

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (SwinTransformerV2 con swinv2_tiny_window16_256 en 256); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

ArquitecturaParámetros (M)GMACsTamaño de entradaPesos preentrenados
swinv2_base_window8_25687.9220.372561
swinv2_base_window12_192109.2811.901921
swinv2_base_window12to16_192to25687.9222.022561
swinv2_base_window12to24_192to38487.9255.253841
swinv2_base_window16_25687.9222.022561
swinv2_large_window12_192228.7726.171921
swinv2_large_window12to16_192to256196.7447.812561
swinv2_large_window12to24_192to384196.74116.153841
swinv2_small_window8_25649.7311.582561
swinv2_small_window16_25649.7312.822561
swinv2_tiny_window8_25628.355.962561
swinv2_tiny_window16_25628.356.682561

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

PesoTamaño de entradaTop-1 (%)Tamaño de evaluaciónClasesLicenciaHub
swinv2_base_window8_256.ms_in1k25684.2462561000mittimm
swinv2_base_window12_192.ms_in22k192--21841mittimm
swinv2_base_window12to16_192to256.ms_in22k_ft_in1k25686.2702561000mittimm
swinv2_base_window12to24_192to384.ms_in22k_ft_in1k38487.1423841000mittimm
swinv2_base_window16_256.ms_in1k25684.6082561000mittimm
swinv2_large_window12_192.ms_in22k192--21841mittimm
swinv2_large_window12to16_192to256.ms_in22k_ft_in1k25686.9342561000mittimm
swinv2_large_window12to24_192to384.ms_in22k_ft_in1k38487.4743841000mittimm
swinv2_small_window8_256.ms_in1k25683.8442561000mittimm
swinv2_small_window16_256.ms_in1k25684.2162561000mittimm
swinv2_tiny_window8_256.ms_in1k25681.8242561000mittimm
swinv2_tiny_window16_256.ms_in1k25682.8282561000mittimm
Update on GitHub