Swin Transformer

Categoría: ViT · Código: timm/models/swin_transformer.py · Arquitecturas: 9 · Pesos preentrenados: 19 (13 con resultados en ImageNet-1k)

Swin Transformer es un transformer jerárquico para visión que calcula la autoatención dentro de ventanas locales, desplazadas entre bloques consecutivos para las conexiones entre ventanas. Incluye los pesos de S3 (AutoFormerV2).

Papers

• Swin Transformer: Vision Transformer jerárquico que utiliza ventanas desplazadas
• Búsqueda en el espacio de búsqueda de Vision Transformer

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('swin_tiny_patch4_window7_224.ms_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (SwinTransformer con swin_tiny_patch4_window7_224 a 224); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.